nacos 1.1.4 服务频繁掉线问题

线上nacos服务不定期掉线问题,查看了8848端口超时数

//查看连接数 

netstat -nat |grep "TIME_WAIT" | wc -l

//查看服务器上各个状态的统计数量:

netstat -ant | awk '/^tcp/ {++y[$NF]} END {for(w in y) print w, y[w]}'

// 单独查看TIME_WAIT

ss -nat | grep TIME-WAIT

//查看某个端口的状态

netstat -anlp|grep 27017 |grep  TIME_WAIT |wc -l

netstat -anlp|grep 27017 |grep  ESTABLISHED|wc -l

image.png

发现time_wait 超时数居然有1000多,在各种排查无果之后重新分析了 TIME_WAIT 状态, 由于 TCP 链接的关闭是四次握手确认, 而 TIME_WAIT 状态本身是在描述请求方主动关闭链接而响应方没有响应. 因为 Nacos 本身是在客户端通过 HTTP 协议主动对 Nacos 服务端发起请求, 因此我们开始对阿里的服务与 Nacos 客户端各种怀疑各种排查
image.png
当服务本身使用了 Nacos 作为注册中心, 那么服务才是请求方, 而 Nacos 服务才是响应方, 重新定位角色是排查这个问题最关键的一步. 通过多次源码对比与求证, 最终排查出来的诱因如下:

Java 本身的 HttpURLConnection 对象会主动对链接进行重用.

Nacos Client 在发起请求前均加入了 "Connection: Keep-Alive" 请求头保持长链接.

在请求流程结束后主动对 HttpURLConnection 执行 disconnect 方法关闭连接, 而非 getInputStream().close() 单纯关闭数据输入流

之所以会出现这次事故除了 Nacos 本身的确有瑕疵以外, 也是因为疏忽没有对其进行压测. 这个 Bug 还有个特性是 TIME_WAIT 数量与用户请求数成正比, TIME_WAIT 暴增的情况主要集中在网关与访问量较大的业务服务上. 但无论是发生在哪里, 消耗的都是服务器本身的资源, 最终导致全服拒绝访问
解决办法:

 <!-- Alibaba-nacos Service Discovery-->
        <dependency>
            <groupId>com.alibaba.cloud</groupId>
            <artifactId>spring-cloud-starter-alibaba-nacos-discovery</artifactId>
        </dependency>
        <!-- Alibaba-nacos Configuration Center-->
        <dependency>
            <groupId>com.alibaba.cloud</groupId>
            <artifactId>spring-cloud-starter-alibaba-nacos-config</artifactId>
        </dependency>

        <dependency>
            <groupId>com.alibaba.nacos</groupId>
            <artifactId>nacos-client</artifactId>
            <version>1.2.0</version>
        </dependency>
  • Spring Boot Version: 2.1.6.RELEASE
  • Spring Cloud Version: Spring Cloud Greenwich
  • Spring Cloud Alibaba Version: 2.1.1.RELEASE
  • Nacos Version: 1.1.4
  • Java Version: 1.8

具体可以参考:nacos掉线
https://juejin.im/post/6844904152527536135

评论

暂无评论