分享几个我的Netty长连接压力测试性能优化实践

云飞落灯花 · 2 年前

搜索了好多都没有一个全面的Netty压测的报告以及可以探讨的地方，因此希望跟大家分享各自使用Netty的压测情况以及调优方法和踩过的坑。

最近公司在重构长连接服务，也算再一次重新学习了一次Netty吧，最后4c8g服务，心跳10分钟下长连接可维持50w，开启单聊重试队列读写qps可以达到5000左右。

自己踩过的坑：

1）Netty内存泄漏自己创建的ByteBuf或channelRead里的msg没有释放,除非调用writeAndFlush、flush、ctx.fireChannelRead(msg)让最后的Pipline进行释放、继承SimpleChannelInboundHandler

解决：出现这个问题大概率因为对整个消息在ChannelHandler中运转流程不熟，最快定位就是开启netty自带的内存泄漏检测

io.netty.leakDetectionLevel  PARANOID

参考含义：

DISABLED - 完成禁止检测内存泄漏，这个是不推荐。
SIMPLE - 如果buffer中出现1%的内存泄漏，打印错误日志，就是上面那样。但是日志是看不到详细在什么位置出现了内存泄漏。鉴于性能考虑，这个是在生产环境中默认使用。
ADVANCED - 如果buffer的1%出现内存泄漏，打印错误，并且输出详细的内存泄漏信息。
PARANOID - 这个和ADVANCED输出的内容是一样的，但它会对每一次请求的buffer做检查。很适用于调试和单元测试。

2）当server端单机到达6w+的时候client无法连入会提示：java.net.SocketException: Too many open files。

解决：需要修改系统最大文件句柄数 fs.file-max=1000000 以及单进程打开最大句柄数 open file

3）io.netty.channel.ConnectTimeoutException: connection timed out: /xx.xx.xx.xx:8080

解决：今天的连接超时问题在于我使用日常环境的机器去连预发机器，首先怀疑是机器网络有问题用本地去连日常和预发都是可以正常连接，于是就想到了用日常机器去ping预发机器，发现没有任何回包，于是找到运维得到的答复是他们有做网络隔离，日常和预发网段是隔离的

4）用Netty去编写WebSocket的客户端时需要注意，如果是一个服务只连接一个客户端那么正常连接就好，一个服务要通过客户端向服务端发起多个connect的时候需要注意，Netty在通过Http协议升级到WebSocket之后，会将原来的 HttpClientCodec/HttpObjectAggregator 替换为WebSocekt协议的Handler