Nginx性能调优

裂变
• 阅读 813

Linux系统参数优化
Nginx性能调优
下文中提到的一些配置,需要较新的Linux(2.6以上)内核才能够支持,笔者使用的CentOS 7.4,内核版本3.10,如果不满足需要的话,最好进行相应的升级,毕竟打补丁是件费力不讨好的事情。对于系统层面的调优,通常我们修改文件描述符限制、缓冲区队列长度以及临时端口数量就可以了。

文件描述符限制

由于每个TCP连接都要占用一个文件描述符,一旦文件描述符耗尽,新的连接到来就会返回“Too many open files”这样的错误,为了提高性能,我们需要对其进行修改:1.系统层级的限制 编辑文件 /etc/sysctl.conf,添加如下内容:

1.  `fs.file-max =10000000`2.  `fs.nr_open =10000000`

2.用户层级的限制 编辑文件 /etc/security/limits.conf,添加以下内容:

1.  `*      hard   nofile      1000000`2.  `*      soft   nofile      1000000`

这里我们只要保证用户层级限制不大于系统层级限制就可以了,否则可能会出现无法通过SSH登录系统的问题。修改完毕执行如下命令:

1.  `$ sysctl -p`

可以通过执行命令 ulimit -a查看是否修改成功。

TCP连接队列长度

编辑文件 /etc/sysctl.conf,添加如下内容:

1.  `# The length of the syn quene`2.  `net.ipv4.tcp_max_syn_backlog =65535`3.  `# The length of the tcp accept queue`4.  `net.core.somaxconn =65535`

其中 tcp_max_syn_backlog用于指定半连接SYN队列长度,当新连接到来时,系统会检测半连接SYN队列,如果队列已满,则无法处理该SYN请求,并在 /proc/net/netstat中的 ListenOverflowsListenDrops中增加统计计数somaxconn用于指定全连接ACCEPT队列长度,当该队列满了以后,客户端发送的ACK包将无法被正确处理,并返回错误"connection reset by peer"Nginx则会记录一条error日志"no live upstreams while connecting to upstreams"如果出现以上错误,我们需要考虑增大这两项的配置。

临时端口

由于Nginx用作代理,每个到上游Web服务的TCP连接都要占用一个临时端口,因此我们需要修改 ip_local_port_range参数 修改 /etc/sysctl.conf文件,添加如下内容:

1.  `net.ipv4.ip_local_port_range =102465535`2.  `net.ipv4.ip_local_reserved_ports =8080,8081,9000-9010`

其中,参数 ip_local_reserved_ports用于指定保留端口,这是为了防止服务端口被占用而无法启动。

Nginx参数优化

Nginx参数优化主要围绕 nginx.conf这个配置文件展开,下文不再赘述。

工作进程

Nginx性能强大的一个重要原因在于它采用多进程非阻塞I/O模型,因此我们要妥善利用这一点:

  • worker_processes 默认的Nginx只有一个master进程一个worker进程,我们需要对其进行修改,可以设置为指定的个数,也可以设置为auto,即系统的CPU核数。更多的worker数量将导致进程间竞争cpu资源,从而带来不必要的上下文切换。因此这里我们将它设置为cpu的核数即可: worker_processes auto
  • worker_connections 每个worker可以处理的并发连接数,默认值512不是很够用,我们适当将它增大: worker_connections 4096
  • Nginx支持以下I/O复用方法处理连接:selectpollkqueueepollrtsig/dev/polleventport。它们分别适用于不同的操作系统,其中 epoll是Linux系统上面效率最高的: use epoll

KeepAlive

为了避免从Nginx到Web服务频繁的建立、断开连接,我们可以启用从HTTP 1.1开始支持的KeepAlive长连接特性,它可以大幅减少CPU和网络开销,在我们的实战中也是对性能提高最大的一环。keepalive必须和proxy_http_versionproxy_set_header结合使用, 参考配置如下:

1.  `upstream BACKEND {`2.  `    keepalive 300;`3.  `    server 127.0.0.1:8081;`4.  `}`5.  `server {`6.  `    listen 8080;`7.  `    location /{`8.  `        proxy_pass http://BACKEND;`9.  `        proxy_http_version 1.1;`10.  `        proxy_set_header Connection"";`11.  `}`12.  `}`

其中 keepalive既非timeout,也不是连接池数量,官方解释如下:

The connections parameter sets the maximum number of idle keepalive connections to upstream servers that are preserved in the cache of each worker process. When this number is exceeded, the least recently used connections are closed.

可以看出它的意思是“最大空闲长连接数量”,超出这个数量的空闲长连接将被回收,当请求数量稳定而平滑时,空闲长连接数量将会非常小(接近于0),而现实中请求数量是不可能一直平滑而稳定的,当请求数量有波动时,空闲长连接数量也随之波动:

  • 当空闲长连接数量大于配置值时,将会导致大于配置值的那部分长连接被回收;
  • 当长连接不够用时,将会重新建立新的长连接。

因此,如果这个值过小的话,就会导致连接池频繁的回收、分配、再回收。为了避免这种情况出现,可以根据实际情况适当调整这个值,在我们实际情况中,目标QPS为6000,Web服务响应时间约为200ms,因此需要约1200个长连接,而 keepalive值取长连接数量的10%~30%就可以了,这里我们取300,如果不想计算,直接设为1000也是可行的。

Access-Log缓存

记录日志的I/O开销比较高,好在Nginx支持日志缓存,我们可以利用这个功能,降低写日志文件的频率,从而提高性能。可以将 bufferflush两个参数结合使用来控制缓存行为:

1.  `access_log /var/logs/nginx-access.log buffer=64k gzip flush=1m`

其中 buffer制定了缓存大小,当缓冲区达到 buffer所指定的大小时,Nginx就会将缓存起来的日志写到文件中;flush指定了缓存超时时间,当 flush指定的时间到达时,也会触发缓存日志写入文件操作。

文件描述符限制

上一节中已经对Linux系统的文件描述符限制进行了修改,Nginx配置中同样有相应的配置项:worker_rlimit_nofile, 理论上这个值应该设置为/etc/security/limits.conf 中的值除以 worker_processes, 但实际中不可能每个进程均匀分配,所以这里只要设置成和 /etc/security/limits.conf一样就可以了

1.  `worker_rlimit_nofile 1000000;`

以上就是良许教程网为各位朋友分享的Nginx性能调优。

以上就是良许教程网为各位朋友分享的Linux相关知识。

点赞
收藏
评论区
推荐文章
Stella981 Stella981
3年前
Android起步
AndroidSQLite http://facebook.github.io/stethoAndroid系统架构Android大致可以分为四层架构,五块区域。1\.Linux内核层Android系统是基于Linux2.6内核的,这一层为Android设备的各种硬件提供了底层的驱动,如显示驱动、音频驱动、照相机驱动
Stella981 Stella981
3年前
Linux上TCP的几个内核参数调优
Linux作为一个强大的操作系统,提供了一系列内核参数供我们进行调优。光TCP的调优参数就有50多个。在和线上问题斗智斗勇的过程中,笔者积累了一些在内网环境应该进行调优的参数。在此分享出来,希望对大家有所帮助。调优清单好了,在这里先列出调优清单。请记住,这里只是笔者在内网进行TCP内核参数调优的经验,仅供参考。同时,笔者还会在余下的博客里面
Stella981 Stella981
3年前
Linux 内核调优
1Linux内核调优1.首先在root用户下执行:vi/etc/sysctl.conf在文件末尾添加如下内容:vm.swappiness10当系统存在足够内存时,推荐设置为该值以提高性能。net.ipv4.tcp_syncookies1开启SYNCookies,当出现SYN等待队列溢出时,启用coo
Stella981 Stella981
3年前
Linux内核Socket参数调优
可调优的内核变量存在两种主要接口:sysctl命令和/proc文件系统,proc中与进程无关的所有信息都被移植到sysfs中。IPV4协议栈的sysctl参数主要是sysctl.net.core、sysctl.net.ipv4,对应的/proc文件系统是/proc/sys/net/ipv4和/proc/sys/net/core。只有内核在编译时包含了特定的
Stella981 Stella981
3年前
JVM参数表
JavaHotSpotVM中\XX:的可配置参数列表进行描述;这些参数可以被松散的聚合成三类:行为参数(BehavioralOptions):用于改变jvm的一些基础行为;性能调优(PerformanceTuning):用于jvm的性能调优;调试参数(DebuggingOptions):一般用
Stella981 Stella981
3年前
Linux内核调优
网络cat/etc/sysctl.conf<<EOFkernel.msgmnb65536kernel.msgmax65536kernel.shmmax68719476736kernel.shmall4294967296net.ipv4.tcp_max_t
Stella981 Stella981
3年前
Linux内核的配置机制及其编译过程
Linux内核的配置机制及其编译过程一、配置系统的基本结构Linux内核的配置系统由三个部分组成,分别是:1、Makefile分布在 Linux 内核源代码根目录及各层目录中,定义 Linux 内核的编译规则;2、配置文件(config.in(2.4内核,2
Stella981 Stella981
3年前
Linux日志安全分析技巧
0x00前言我正在整理一个项目,收集和汇总了一些应急响应案例(不断更新中)。GitHub地址:https://github.com/Bypass007/EmergencyResponseNotes本文主要介绍Linux日志分析的技巧,更多详细信息请访问Github地址,欢迎Star。0x01日志简介Lin
Stella981 Stella981
3年前
Nginx性能调优
Linux系统参数优化!Linux学习(https://oscimg.oschina.net/oscnet/up56b368fa79421fec0489b5eda4ae8c4ee73.JPEG)下文中提到的一些配置,需要较新的Linux(2.6以上)内核才能够支持,笔者使用的CentOS7.4,内核版本3.10,如果不满足需要的话,最好进
性能调优五步法
Linux内核从2.5版本开始针对NUMA架构做了大量优化工作,同时也提供了丰富的工具和接口,可以帮助我们很容易的完成访问本地内存的设置。所以,通过适当的性能调优,可以提供更高的计算能力。性能优化通常可以通过五个步骤完成
美凌格栋栋酱 美凌格栋栋酱
5个月前
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(