一 高并发的概念
在互联网时代，并发，高并发通常是指并发访问。也就是在某个时间点，有多少个访问同时到来。
二 高并发架构相关概念
- 1、QPS (每秒查询率) : 每秒钟请求或者查询的数量，在互联网领域，指每秒响应请求数(指HTTP请求)
- 2、PV（Page View）：综合浏览量，即页面浏览量或者点击量，一个访客在24小时内访问的页面数量
–注：同一个人浏览你的网站的同一页面，只记做一次pv
- 3、吞吐量（fetches/sec） ：单位时间内处理的请求数量 （通常由QPS和并发数决定）
- 4、响应时间：从请求发出到收到响应花费的时间
- 5、独立访客（UV）：一定时间范围内，相同访客多次访问网站，只计算为1个独立访客
- 6、带宽：计算带宽需关注两个指标，峰值流量和页面的平均大小
- 7、日网站带宽： PV/统计时间（换算到秒） 平均页面大小（kb） 8
三 需要注意点：
- 1、QPS不等于并发连接数（QPS是每秒HTTP请求数量，并发连接数是系统同时处理的请求数量）
- 2、峰值每秒请求数（QPS）= （总PV数80%）/ （六小时秒数20%）【代表80%的访问量都集中在20%的时间内】
- 3、压力测试： 测试能承受的最大并发数 以及测试最大承受的QPS值
- 4、常用的性能测试工具【ab，wrk，httpload，Web Bench，Siege，Apache JMeter】
四 优化
1、当QPS小于50时
优化方案:为一般小型网站,不用考虑优化
2、当QPS达到100时,遇到数据查询瓶颈
优化方案: 数据库缓存层,数据库的负载均衡
3、当QPS达到800时, 遇到带宽瓶颈
优化方案:CDN加速,负载均衡
4、当QPS达到1000时
优化方案: 做html静态缓存
5、当QPS达到2000时
优化方案: 做业务分离,分布式存储
五、高并发解决方案案例:
1、流量优化
防盗链处理(去除恶意请求)
2、前端优化
- (1) 减少HTTP请求[将css,js等合并]
- (2) 添加异步请求(先不将所有数据都展示给用户,用户触发某个事件,才会异步请求数据)
- (3) 启用浏览器缓存和文件压缩
- (4) CDN加速
- (5) 建立独立的图片服务器(减少I/O)
3、服务端优化
- (1) 页面静态化
- (2) 并发处理
- (3) 队列处理
4、数据库优化
- (1) 数据库缓存
- (2) 分库分表,分区
- (3) 读写分离
- (4) 负载均衡
5、web服务器优化
(1) nginx反向代理实现负载均衡
(2) lvs实现负载均衡
关于海亮数据
业务场景, 每天产生百万左右的日志,总量过亿, 准即时分析
- 不需要使用复杂的技术栈, PHP本身即可处理, 时间也可接受
- 可简单使用多开CLI进程的方式,每个CLI对应一个日志源, 不需要引入多线程之类的技术, 适合日志源较固定的业务场景.
- 提前过滤不需要保留的日志,如:爬虫, 业务中无用的日志, 我的业务场景 中可过滤掉90%的无效 日志
- 事先确认分析需求, 只根据需求对日志进行分析. 此处详解
1 | a.我使用第三方UA解析库对 UA进行分析,结果详细,但占用CPU过高,处理时间不理想 |
- 多种PHP技术并用: 本地文件缓存, 精细设计断点续操作, 批量插入数据库, 人性化的界面输出.
- 对异常进行分析, 有些异常使用简单的延时重试即可处理.
- 最重要的, 是要相信PHP, 如果有PHP不能实现的功能 , 那只是因为你的水平不够, 而不是PHP的问题.
