IM开发干货分享：我是如何解决大量离线消息导致客户端卡顿的

JackJiang · 4 年前

1、引言

好久没写技术文章了，今天这篇不是原理性文章，而是为大家分享一下由笔者主导开发实施的IM即时通讯聊天系统，针对大量离线消息（包括消息漫游）导致的用户体验问题的升级改造全过程。

文章中，我将从如下几个方面进行介绍：

1）这款IM产品的主要业务及特点；
2）IM系统业务现状和痛点；
3）升级改造之路；
4）消息ACK逻辑的优化。

下述内容都是根据笔者开发IM的亲身经历总结下来的宝贵经验，干货满满，期待你的点赞。

本文已同步发布于“即时通讯技术圈”公众号，欢迎关注：
IM开发干货分享：我是如何解决大量离线消息导致客户端卡顿的_52im_qr_即时通讯技术圈_400px.png

▲ 本文在公众号上的链接是：https://mp.weixin.qq.com/s/XHdt1IpCrdmaMDxL8WKn3w

2、IM开发干货系列文章

本文是系列文章中的第25篇，总目录如下：

另外，如果您是IM开发初学者，强烈建议首先阅读《新手入门一篇就够：从零开发移动端IM》。

更多IM客户端优化相关文章：

3、此IM产品的主要业务及特点

和传统互联网行业有所不同，笔者所在的公司（名字就不透露了）是一家做娱乐社交app的公司，包括小游戏、聊天、朋友圈feed等。

大家应该都有体会：游戏业务在技术上和产品形态上与电商、旅游等行业有着本质上的区别。

大部分做后端开发的朋友，都在开发接口。客户端或浏览器h5通过HTTP请求到我们后端的Controller接口，后端查数据库等返回JSON给客户端。大家都知道，HTTP协议有短连接、无状态、三次握手四次挥手等特点。而像游戏、实时通信等业务反而很不适合用HTTP协议。

原因如下：

1）HTTP达不到实时通信的效果，可以用客户端轮询但是太浪费资源；
2）三次握手四次挥手有严重的性能问题；
3）无状态。

比如说，两个用户通过App聊天，一方发出去的消息，对方要实时感知到消息的到来。两个人或多个人玩游戏，玩家要实时看到对方的状态，这些场景用HTTP根本不可能实现！因为HTTP只能pull（即“拉”），而聊天、游戏业务需要push（即“推”）。

4、IM系统业务现状和痛点

4.1业务现状

笔者负责整个公司的实时聊天系统，类似与微信、QQ那样，有私聊、群聊、发消息、语音图片、红包等功能。

下面我详细介绍一下，整个聊天系统是如何运转的。

首先：为了达到实时通信的效果，我们基于Netty开发了一套长链接网关gateway（扩展阅读：《Netty干货分享：京东京麦的生产级TCP网关技术实践总结》），采用的协议是MQTT协议，客户端登录时App通过MQTT协议连接到gateway（NettyServer），然后通过MQTT协议把聊天消息push给NettyServer，NettyServer与NettyClient保持长链接，NettyClient用于处理业务逻辑(如敏感词拦截、数据校验等)处理，最后将消息push给NettyServer，再由NettyServer通过MQTT push给客户端。

其次：客户端与服务端想要正常通信，我们需要制定一套统一的协议。拿聊天举例，我们要和对方聊天，需要通过uid等信息定位到对方的Channel（Netty中的通道，相当于一条socket连接），才能将消息发送给正确的客户端，同时客户端必须通过协议中的数据（uid、groupId等），将消息显示在私聊或者群聊的会话中。

协议中主要字段如下（我们将数据编码成protobuf格式进行传输）：

{
    "cmd":"chat",
    "time":1554964794220,
    "uid":"69212694",
    "clientInfo":{
        "deviceId":"b3b1519c-89ec",
        "deviceInfo":"MI 6X"
    },
    "body":{
        "v":1,
        "msgId":"5ab2fe83-59ec-44f0-8adc-abf26c1e1029",
        "chatType":1,
        "ackFlg":1,
        "from":"69212694",
        "to":"872472068",
        "time":1554964793813,
        "msg":{
            "message":"聊天消息"
        }
    }
}

补充说明：如果你不了Protobuf格式是什么，请详读《Protobuf通信协议详解：代码演示、详细原理介绍等》。

如上json，协议主要字段包括：
IM开发干货分享：我是如何解决大量离线消息导致客户端卡顿的_1.png

如果客户端不在线，我们服务端需要把发送的消息存储在离线消息表中，等下次对方客户端上线，服务端NettyServer通过长链接把离线消息push给客户端。

4.2业务痛点

随着业务蓬勃发展，用户的不断增多，用户创建的群、加入的群和好友不断增多和聊天活跃度的上升，某些用户不在线期间，产生大量的离线消息（尤其是针对群聊，离线消息特别多）。

等下次客户端上线时，服务端会给客户端强推全部的离线消息，导致客户端卡死在登录后的首页。并且产品提出的需求，要扩大群成员的人数（由之前的百人群扩展到千人群、万人群等）。

这样一来，某些客户端登录后必定会因为大量离线消息而卡死，用户体验极为不好。

和客户端的同事一起分析了一下原因：

1）用户登录，服务端通过循环分批下发所有离线消息，数据量较大；
2）客户端登录后进入首页，需要加载的数据不光有离线消息，还有其他初始化数据；
3）不同价位的客户端处理数据能力有限，处理聊天消息时，需要把消息存储到本地数据库，并且刷新UI界面，回复给服务端ack消息，整个过程很耗性能。

（庆幸的是，在线消息目前没有性能问题）。

所以针对上述问题，结合产品对IM系统的远大规划，我们服务端决定优化离线消息（稍微吐槽一下，客户端处理能力不够，为什么要服务端做优化？服务端的性能远没达到瓶颈。。。）。

5、升级改造之路

值得庆幸的是，笔者100%参与这次系统优化的全部过程，包括技术选型、方案制定和最后的代码编写。在此期间，笔者思考出多种方案，然后和服务端、客户端同事一起讨论，最后定下来一套稳定的方案。

5.1方案一（被pass掉的一个方案）

▶ 【问题症状】：

客户端登录卡顿的主要原因是，服务端会强推大量离线消息给客户端，客户端收到离线消息后会回复服务端ack，然后将消息存储到本地数据库、刷新UI等。客户端反馈，即使客户端采用异步方式也会有比较严重的性能问题。

▶ 【于是我想】：

为什么客户端收到消息后还没有将数据存储到数据库就回复给服务端ack？很有可能存储失败，这本身不合理，这是其一。其二，服务端强推导致客户端卡死，不关心客户端的处理能力，不合理。

▶ 【伪代码如下】：

int max = 100;
//从新库读
while (max > 0) {
    List<OfflineMsgInfo> offlineMsgListNew = shardChatOfflineMsgDao.getByToUid(uid, 20);
    if (CollectionUtils.isEmpty(offlineMsgListNew)) {
        break;
    }
    handleOfflineMsg(uid, offlineMsgListNew, checkOnlineWhenSendingOfflineMsg);
    max--;
}

▶ 【初步方案】：

既然强推不合理，我们可以换一种方式，根据客户端不同机型的处理能力的不同，服务端采用不同的速度下发。

我们可以把整个过程当成一种生产者消费者模型，服务端是消息生产者，客户端是消息消费者。客户端收到消息，将消息存储在本地数据库，刷新UI界面后，再向服务端发送ack消息，服务端收到客户端的ack消息后，再推送下一批消息。

这么一来，消息下发速度完全根据客户端的处理能力，分批下发。但这种方式仍然属于推方式。

▶ 【悲剧结果】：

然而，理想很丰满，现实却很骨感。

针对这个方案，客户端提出一些问题：

1）虽然这种方案，客户端不会卡死，但是如果当前用户的离线消息特别多，那么收到所有离线消息的时间会非常长；
2）客户端每次收到消息后会刷新界面，很有可能客户端会发生，界面上下乱跳的画面。

so，这个方案被否定了。。。

5.2方案二

▶ 【我的思考】：

既然强推的数据量过大，我们是否可以做到，按需加载？客户端需要读取离线消息的时候服务端给客户端下发，不需要的时候，服务端就不下发。

▶ 【技术方案】：针对离线消息，我们做了如下方案的优化

1）我们增加了离线消息计数器的概念：保存了每个用户的每个会话，未读的消息的元数据(包括未读消息数，最近的一条未读消息、时间戳等数据)，这个计数器用于客户端显示未读消息的的红色气泡。这个数据属于增量数据，只保留离线期间收到的消息元数据。

消息格式如下：

{
    "sessionId1":{
        "count":20,
        "lastMsg":[
            "最后N条消息"
        ],
        "timestamp":1234567890
    },
    "sessionId2":{

    }
}

2）客户端每次登录时，服务端不推送全量离线消息，只推送离线消息计数器（这部分数据存储在redis里，并且数据量很小），这个数量用户显示在客户端消息列表的未读消息小红点上。

3）客户端拿到这些离线消息计数器数据，遍历会话列表，依次将未读消息数量累加(注意：不是覆盖，服务端保存客户端离线后的增量数据)，然后通知服务端清空离线消息计数器的增量数据。

4）当客户端进入某会话后，上拉加载时，通过消息的msgId等信息发送HTTP请求给服务端，服务端再去分页查询离线消息返回给客户端。

5）客户端收到消息并保存在本地数据库后，向服务端发送ack，然后服务端删除离线消息表的离线消息。

▶ 【预期结果】：

客户端、服务端的技术人员认可这个方案。我们通过推拉结合的方式，解决了客户端加载离线消息卡顿的问题。（改造前是强推，改造后采用推拉结合的方式）

流程图如下：
IM开发干货分享：我是如何解决大量离线消息导致客户端卡顿的_4.png

▶ 【新的问题】：

方案虽然通过了，但是引发了一个新问题：即客户端消息衔接问题。

问题描述如下：客户端登录后进入会话页面，因为客户端本身就保存着历史消息，那么客户端下拉加载新消息时，到底怎么判断要加载本地历史消息？还是要请求服务端加载离线消息呢？

经过一番思考，服务端和客户端最终达成了一致的方案：

1）在未读消息计数器的小红点逻辑中，服务端会把每个会话的最近N条消息一起下发给客户端；
2）客户端进入会话时，会根据未读消息计数器的最近N条消息展示首页数据；
3）客户端每次下拉加载时，请求服务端，服务端按时间倒排离线消息返回当前会话最近一页离线消息，直到离线消息库中的数据全部返回给客户端；
4）当离线消息库中没有离线消息后，返回给客户端一个标识，客户端根据这个标识，在会话页面下一次下拉加载时不请求服务端的离线消息，直接请求本地数据库。

6、消息ACK逻辑的优化

最后，我们也对消息ack的逻辑进行了优化。

优化前：服务端采用push模型给客户端推消息，不论是在线消息还是离线消息，ack的逻辑都一样，其中还用到了kafka、redis等中间件，流程很复杂（我在这里就不详细展开介绍ack的具体流程了，反正不合理）。

离线消息和在线消息不同的是，我们不存储在线消息，而离线消息会有一个单独的库存储。完全没必要用在线消息的ack逻辑去处理离线消息，反而很不合理，不仅流程上有问题，也浪费kafka、redis等中间件性能。

优化后：我们和客户端决定在每次下拉加载离线消息时，将收到的上一批离线消息的msgId或消息偏移量等信息发送给服务端，服务端直接根据msgId删除离线库中已经发送给客户端的离线消息，再返回给客户端下一批离线消息。

另外：我们还增加了消息漫游功能，用户切换手机登录后仍然可以查到历史消息，这部分内容我就不展开详细介绍给大家了。

7、设计优化方案时的文档截图（仅供参考）

下面是优化的方案文档截图，请大家参考。

IM开发干货分享：我是如何解决大量离线消息导致客户端卡顿的_5.png

附录：更多IM开发相关文章汇总

34 楼: 椎锋陷陈 · 3 年前

引用：在每次下拉加载离线消息时，将收到的上一批离线消息的msgId或消息偏移量等信息发送给服务端，服务端直接根据msgId删除离线库中已经发送给客户端的离线消息，再返回给客户端下一批离线消息。

这里的意思应该是拉取下一批离线消息时传入msgId或消息偏移量等信息，本身就可以充当ACK的作用，不需要额外再使用和在线消息处理一样的ACK逻辑吧。

33 楼: 小张 · 3 年前

引用：JackJiang 发表于 2021-10-10 17:47
我在这个帖子里回复你了：http://www.52im.net/thread-3698-1-1.html

OKk

32 楼: JackJiang · 3 年前

引用：小张发表于 2021-10-09 21:08
我这边设计，基本都是文章中的一个套路（非一次性全量拉取，采用推拉方式）。但是，这些设计方式，对于单个 ...

我在这个帖子里回复你了：http://www.52im.net/thread-3698-1-1.html

31 楼: 小张 · 3 年前

我这边设计，基本都是文章中的一个套路（非一次性全量拉取，采用推拉方式）。但是，这些设计方式，对于单个会话消息记录很多，感觉总会有瓶颈，比如A群，2天聊了2w条数据，1周聊了5w条数据，客户端进行缺失消息同步时，服务端的数据库查询就需要扫描N万条记录，再取出M条，会查询的很慢慢慢。
有什么好方式解决吗？

30 楼: 张文-im · 3 年前

引用：手写的从前发表于 2020-12-31 14:44
我的意思是怎么判断一个消息应该不应该被拉取到客户端呢？有一个拉取到的最新消息id吗？

可以采用严格递增id，当客户端发现id出现跳跃时，重新从跳跃前的那个id拉取消息，可能会拉取到重复消息，所以需要客户端做去重处理。当然，严格递增id很难保证，redis的incr应该可以

29 楼: 手写的从前 · 3 年前

引用：JackJiang 发表于 2020-12-31 13:58
尽量在客户端做去重容错，服务端为了防止露拉，可以把重复这个容忍度设计的高一点

我的意思是怎么判断一个消息应该不应该被拉取到客户端呢？有一个拉取到的最新消息id吗？

28 楼: JackJiang · 3 年前

引用：手写的从前发表于 2020-12-31 12:55
那会不会因为某些原因导致在一个群里比如我已经拉去到消息id为100，但是又在存储中插入了一个id为99的消 ...

尽量在客户端做去重容错，服务端为了防止露拉，可以把重复这个容忍度设计的高一点

27 楼: 手写的从前 · 3 年前

引用：JackJiang 发表于 2020-12-31 11:42
是这个意思。

那会不会因为某些原因导致在一个群里比如我已经拉去到消息id为100，但是又在存储中插入了一个id为99的消息，导致这条消息就丢失了？

26 楼: JackJiang · 3 年前

引用：手写的从前发表于 2020-12-31 11:16
这里的推是指推送《有新消息通知》，而拉指的是拉去消息本身吗？

是这个意思。

25 楼: 手写的从前 · 3 年前

引用：JackJiang 发表于 2020-08-06 12:33
1、不要用推，还是要用拉简单，这是主流作法。
2、文中的意思是拉未读数的时候就取首屏。

这里的推是指推送《有新消息通知》，而拉指的是拉去消息本身吗？

24 楼: boboking1 · 3 年前

引用：JackJiang 发表于 2020-12-25 21:22
这么大量消息的情况下，最好是服务端推通知，客户端B收到通知后再分页拉取合理一点

谢谢大佬的解答

23 楼: JackJiang · 3 年前

引用：boboking1 发表于 2020-12-25 18:05
大佬，插个额外话题。客户端接受方B在线的时候，服务端发送海量数据（假设几万条）给B。现在有2个疑问
1 ...

这么大量消息的情况下，最好是服务端推通知，客户端B收到通知后再分页拉取合理一点

22 楼: boboking1 · 3 年前

引用：JackJiang 发表于 2020-11-03 13:55
他这个逻辑里，应该是会请求一次服务端，然后拉下所有离线消息，后绪直到退出app前，都以本地数据为准

大佬，插个额外话题。客户端接受方B在线的时候，服务端发送海量数据（假设几万条）给B。现在有2个疑问
1、这种在线高并发情况下，是采用B定时去服务器去拉好，还是服务端即时推比较好。
2、是否不论推或者拉，也都是采用获取部分数据而不是全量数据呢？

21 楼: JackJiang · 4 年前

引用：GarageBand 发表于 2020-11-03 14:03
意思是在群A中，比如有1000条未读消息，客户端下拉一次把1000数据一次性全部拉取存入本地数据库，后面下 ...

是的，这样技术上不用太复杂

20 楼: GarageBand · 4 年前

引用：JackJiang 发表于 2020-11-03 13:55
他这个逻辑里，应该是会请求一次服务端，然后拉下所有离线消息，后绪直到退出app前，都以本地数据为准

意思是在群A中，比如有1000条未读消息，客户端下拉一次把1000数据一次性全部拉取存入本地数据库，后面下拉就走客户端数据库本地缓存？

19 楼: JackJiang · 4 年前

引用：GarageBand 发表于 2020-11-03 13:50
比如有100条未读消息，我只看了20条（拉取20条），这个时候客户端数据库中的消息就会“断层”，然后我重 ...

他这个逻辑里，应该是会请求一次服务端，然后拉下所有离线消息，后绪直到退出app前，都以本地数据为准

18 楼: GarageBand · 4 年前

引用：JackJiang 发表于 2020-11-03 13:43
"如果客户端没拉完所有的离线消息，那么客户端会一直走请求"：
这句怎么理解？用专业一点的话组织一下呢

比如有100条未读消息，我只看了20条（拉取20条），这个时候客户端数据库中的消息就会“断层”，然后我重新进入聊天会话中，这个时候客户端上拉，是走请求？还是走客户端本地数据库？
整体意思就是，客户端不知道啥时候去请求服务器拉取历史消息？还是走本地数据库获取数据？依据是啥？

17 楼: JackJiang · 4 年前

引用：GarageBand 发表于 2020-11-03 13:39
按图中所3，4条所述，如果客户端没拉完所有的离线消息，那么客户端会一直走请求，当再次进入会话中，客户端 ...

"如果客户端没拉完所有的离线消息，那么客户端会一直走请求"：
这句怎么理解？用专业一点的话组织一下呢

16 楼: GarageBand · 4 年前

按图中所3，4条所述，如果客户端没拉完所有的离线消息，那么客户端会一直走请求，当再次进入会话中，客户端还是一样会走请求，即便客户端已经缓存过拉取过的历史离线消息，是这样吗？

本文目录

1、引言

2、IM开发干货系列文章

3、此IM产品的主要业务及特点

4、IM系统业务现状和痛点

4.1业务现状

4.2业务痛点

5、升级改造之路

5.1方案一（被pass掉的一个方案）

5.2方案二

6、消息ACK逻辑的优化

7、设计优化方案时的文档截图（仅供参考）

附录：更多IM开发相关文章汇总

本帖已收录至以下技术专辑

MobileIMSDK (v6.5精编版)

MobileIMSDK-Web (有偿开源)

RainbowAVnew (有偿开源)

RainbowChat (技术转让)

RainbowChat-Web (技术转让)

精华之王

白金版主

终身成就

即时通讯网

友情链接[友链交换]

关于

微信公众号new

本文目录

1、引言

2、IM开发干货系列文章

3、此IM产品的主要业务及特点

4、IM系统业务现状和痛点

4.1业务现状

4.2业务痛点

5、升级改造之路

5.1方案一（被pass掉的一个方案）

5.2方案二

6、消息ACK逻辑的优化

7、设计优化方案时的文档截图（仅供参考）

附录：更多IM开发相关文章汇总

本帖已收录至以下技术专辑

MobileIMSDK(v6.5精编版)

MobileIMSDK-Web(有偿开源)

RainbowAVnew(有偿开源)

RainbowChat(技术转让)

RainbowChat-Web(技术转让)

精华之王

白金版主

终身成就

即时通讯网

友情链接[友链交换]

关于

微信公众号new

MobileIMSDK (v6.5精编版)

MobileIMSDK-Web (有偿开源)

RainbowAVnew (有偿开源)

RainbowChat (技术转让)

RainbowChat-Web (技术转让)

即时通讯网　