声网架构师谈实时音视频云的实现难点(视频采访)

采访对象

孙雨润，声网 Agora.io 首席音视频架构师，负责全球音视频传输技术架构。毕业于中国科学技术大学，原 YY 后台架构师，主导 Web YY 整体后台系统架构搭建。曾任职腾讯 QQ 研究员 ，主导 QQ 空间面孔墙等项目；任职微软 Microsoft 期间，参与高性能计算产品项目。

采访内容摘录

Q：请你先介绍一下自己。
A：我叫孙雨润，毕业于中国科学技术大学计算机专业，毕业之后我直接到当时还是创业公司的YY做音视频传输工作。后来YY上市之后，我自己身体在广州不太舒服，后来就来到上海，曾经在这边的微软和QQ工作过。2014年初跟我们现在的老大一起去美国硅谷成立了现在这家公司就是声网Agora，主要的想法是把之前在YY积累的经验拿出来，想做一个全球范围内能够帮助大家很快地实现音视频通话，解决我们过去那些年踩的坑，能够帮助大家实现这样的服务。

Q：你在声网的主要工作是什么呢？
A：我2014年初加入声网，当时我们在硅谷那边做了为期小半年的封闭式开发。当时的第一个目标是把这套系统搭起来，因为这也是我们没有遇到过的挑战，我们一开始都是做国内的。当我们第一次提出来想要做全球范围内这样一个系统的时候，我们还有很多事情要摸索，所以第一步就是把这个系统搭起来，后来系统稳定下来以后，我们第二个就是各个击破去优化各个不同区域，以及像我演讲中提到运营商之间、用户差的设备这些质量问题。第三块我所从事的工作是保证系统的稳定，从最原始，大家常用的进程监控的角度、从性能监控角度、可用性监控、质量监控。我们比较创新的把这些东西集成到一个监控系统里面，能够保证我们的系统非常完美的工作下来，这是我们前一阶段为期两年的时间开发的工作。现在我们的系统基本上全球范围内都可以实现非常完美的音视频通话。接下来我们的任务主要是解决一些非常极端的案例，比如说有的用户手机很差，跑我们的视频跑不起来，我们怎么针对这种情况做一些定制化传输的优化。

Q：下一个问题我想问一下音视频网络架构和Web架构相比有哪些不一样的地方？
A：这个还是有些区别的，第一个是Web架构从它诞生到现在有非常多的开源项目可以用，有一些轮子你不需要重复的造，比如说存储有mysql、redis，mongodb，可以满足方方面面的需求。但是音视频传输这块现在还没有这样一个生态链，这些东西全都要我们自己造轮子。第二个方面从架构设计上，Web架构它允许有中心节点这种方案。比如说我给你分配一个资源这样的方案。我们做全球的音视频部署，因为没有CDN帮助你加速，你不可能部署一个中心节点，让全球的各个用户全来访问这个节点。必须尽可能的使用对等部署来优化这个问题。第三个最明显的区别，Web它可以允许延迟，比如说我访问一个网站，可能一秒、两秒、三秒，甚至像我们昨天在盘古那边吃饭跟大家聊，可能某一家比较大的电商公司，它的首页加载速度在5秒、6秒他们都可以接受。但是音视频如果从你访问到收到音视频流，在400毫秒以上用户就感觉明显的延时。

总结起来是三点，第一我们并没有重复的轮子可以用，很多东西需要自己开发。第二在部署方式上要避免由于全球化部署带来的访问的问题。第三是延时访问速度上，数据的传输速度需要明显保证在400毫秒以内。

Q：我看到声网的官网上启动了一个服务叫做一对多的在线教学，它支持多少人同时在线，在传输这块有哪些挑战呢？
A：人数在线当你的架构设计的很合理的时候，这个东西是可以水平扩展的，随着你的带宽与服务器资源水平扩展。我们当时在YY做过150万同时在线，按照我们现在的部署，因为我们毕竟刚成立两年，带宽没有准备那么多，我们是可以10万用户同时在线，随着用户量和业务起来以后，我们可以非常快速的，无论是国内或者是国外都可以平行的水平扩展，只要加机房、加带宽、加机器就可以支持，理论上是没有上限的量级。

Q：您刚才说的这个我理解是总的在线人数吗？
A：对，就是一个频道内的在线人数，一个老师讲，我们曾经做过150万观众可以看这个视频。

Q：在传输这块它有什么挑战吗？
A：挑战如果是单纯从我支持多少量这个角度，那最重要的是负载均衡。我们的负载均衡分为两块，一块是我们接入用户时候的负载均衡。比如说我是吉林联通的用户，这边还有辽宁联通的用户，他们要接入哪个机房，如果现在表演的是东北的文化，那可能北方的用户比较多，北方的机房如果不够怎么把它balance到其他的机房。第二个是我们在传输的路由时会有一个负载均衡的问题，我在演讲中也曾经提到，比如说我们需要保证两点之间传输是非常可靠、专线的质量，那就需要经过我们中间的路由，这个路由因为它是实时的，有一些随机性，就会导致有一些路由节点的负载明显增高，这时候路由也需要做负载均衡。所以人数上来了一个比较大的挑战就是两个地方的负载均衡，第一方面是接入用户，第二方面是机房之间传输的路由选择。


Q：下一个问题我想问一下优化方面，对于音视频的传输要降低带宽成本这方面有哪些优化手段呢？
A：带宽成本最重要的是你看最贵的部分在哪里，我们有一个二八原则，可能最贵的20%的地方占到了80%的钱，为什么这么说呢？有的机房很贵，有的带宽很便宜。很多时候当我们技术解决不了的时候，大家倾向于使用比较贵的成本。比如说我在国内放一个机房和香港之间有专线，这种成本非常高。比如用BGP机房，一个IP可以接受其他很多运营商的IP，他们都使用BGP都有兼容性不丢包的策略，这个也是成本非常高的选择。我们的目标是怎么降低成本，就是干掉这些东西，我们出国不需要做专线，中国南北和北部不需要专线，跨运营商也不需要用BGP机房，我们是用技术手段动态调整路由，这样的话能最大限度降低成本。当你发现你最贵的这部分，量非常少的时候，成本自然而然就降下来了，很便宜的那部分机房，随着用户线性增长，你会发现事情是可控的。

Q：对于长途以及跨州的通信如何降低它们的延迟呢？
A：这个也是我演讲的时候在场的观众比较感兴趣的地方。首先我要解释一个问题，大家对延时的理解有些偏差，实际上延时是由物理链路的延时和抖动共同造成的，大家印象中的延时都是物理链路的延时。中国到美国之间这么长，上海到杭州这么短，比如说上海到杭州的距离是上海到美国的1/10，是不是延时也是1/10呢？实际上并不是，构成音视频延时的是两块，一个是传输延时，一个是网络抖动，后者才是最主要的部分。我们看到绝大部分的延时都是抖动产生的，物理链路的延时占整个感觉到的延时很小的一部分。这就是为什么跨国传输听起来并没有比国内传输延时大很多，因为我们有效的控制了抖动，对抖动做了非常智能的缓冲。另一方面，实际上跨国之间的链路延时并没有想象那么高，从上海到洛杉矶的单向延时是100毫秒，到最东海岸的迈阿密大概是130毫秒，这个延时是远低于ito的400毫秒的标准的。

在线视频

（如果上方视频无法观看：您也可点此观看，如还不能播放请使用Firefox浏览器！）

附录1：全站精品资源下载

[1] 精品源码下载：
《轻量级即时通讯框架MobileIMSDK的iOS源码（开源版）[附件下载]》
《开源IM工程“蘑菇街TeamTalk”2015年5月前未删减版完整代码 [附件下载]》
《微信本地数据库破解版(含iOS、Android)，仅供学习研究 [附件下载]》
《NIO框架入门(四)：Android与MINA2、Netty4的跨平台UDP双向通信实战 [附件下载]》
《NIO框架入门(三)：iOS与MINA2、Netty4的跨平台UDP双向通信实战 [附件下载]》
《NIO框架入门(二)：服务端基于MINA2的UDP双向通信Demo演示 [附件下载]》
《NIO框架入门(一)：服务端基于Netty4的UDP双向通信Demo演示 [附件下载]》
《用于IM中图片压缩的Android工具类源码，效果可媲美微信 [附件下载]》
《高仿Android版手机QQ可拖拽未读数小气泡源码 [附件下载]》
《一个WebSocket实时聊天室Demo：基于node.js+socket.io [附件下载]》
《Android聊天界面源码：实现了聊天气泡、表情图标(可翻页) [附件下载]》
《高仿Android版手机QQ首页侧滑菜单源码 [附件下载]》
《开源libco库：单机千万连接、支撑微信8亿用户的后台框架基石 [源码下载]》
《分享java AMR音频文件合并源码，全网最全》
《微信团队原创Android资源混淆工具：AndResGuard [有源码]》
《一个基于MQTT通信协议的完整Android推送Demo [附件下载]》
《Android版高仿微信聊天界面源码 [附件下载]》

[2] 精品文档和工具下载：
《计算机网络通讯协议关系图（中文珍藏版）[附件下载]》
《史上最全即时通讯软件简史（精编大图版）[附件下载]》
《基于RTMP协议的流媒体技术的原理与应用（技术论文）[附件下载]》
《独家发布《TCP/IP详解 卷1：协议》CHM版 [附件下载]》
《良心分享：WebRTC 零基础开发者教程（中文）[附件下载]》
《MQTT协议手册（中文翻译版）[附件下载]》
《经典书籍《UNIX网络编程》最全下载(卷1+卷2、中文版+英文版)[附件下载]》
《音视频开发理论入门书籍之《视频技术手册(第5版)》[附件下载]》
《国际电联H.264视频编码标准官方技术手册（中文版）[附件下载]》
《Apache MINA2.0 开发指南（中文版）[附件下载]》
《网络通讯数据抓包和分析工具 Wireshark 使用教程(中文) [附件下载]》
《最新收集NAT穿越(p2p打洞)免费STUN服务器列表 [附件下载]》
《高性能网络编程经典：《The C10K problem(英文)》[附件下载]》
《即时通讯系统的原理、技术和应用（技术论文）[附件下载]》
《技术论文：微信对网络影响的技术试验及分析[附件下载]》
《华为内部3G网络资料： WCDMA系统原理培训手册[附件下载]》
《网络测试：Android版多路ping命令工具EnterprisePing[附件下载]》
《Android反编译利器APKDB：没有美工的日子里继续坚强的撸》
《一款用于P2P开发的NAT类型检测工具 [附件下载]》
《两款增强型Ping工具：持续统计、图形化展式网络状况 [附件下载]》

[3] 精选视频、演讲PPT下载：
《QQ空间移动端10亿级视频播放技术优化揭秘(视频+PPT)[附件下载]》
《RTC实时互联网2017年度大会精选演讲PPT [附件下载]》
《微信分享开源IM网络层组件库Mars的技术实现(视频+PPT)[附件下载]》
《微服务理念在微信海量用户后台架构中的实践(视频+PPT)[附件下载]》
《移动端IM开发和构建中的技术难点实践分享(视频+PPT)[附件下载]》
《网易云信的高品质即时通讯技术实践之路(视频+PPT)[附件下载]》
《腾讯音视频实验室：直面音视频质量评估之痛(视频+PPT)[附件下载]》
《腾讯QQ1.4亿在线用户的技术挑战和架构演进之路PPT[附件下载]》
《微信朋友圈海量技术之道PPT[附件下载]》
《手机淘宝消息推送系统的架构与实践(音频+PPT)[附件下载]》
《如何进行实时音视频的质量评估与监控(视频+PPT)[附件下载]》
《Go语言构建高并发消息推送系统实践PPT(来自360公司)[附件下载]》
《网易IM云千万级并发消息处理能力的架构设计与实践PPT [附件下载]》
《手机QQ的海量用户移动化实践分享(视频+PPT)[附件下载]》
《钉钉——基于IM技术的新一代企业OA平台的技术挑战(视频+PPT)[附件下载]》
《微信技术总监谈架构：微信之道——大道至简(PPT讲稿)[附件下载]》
《Netty的架构剖析及应用案例介绍(视频+PPT)[附件下载]》
《声网架构师谈实时音视频云的实现难点(视频采访)》
《滴滴打车架构演变及应用实践(PPT讲稿)[附件下载]》
《微信海量用户背后的后台系统存储架构(视频+PPT)[附件下载]》
《在线音视频直播室服务端架构最佳实践(视频+PPT)[附件下载]》
《从0到1：万人在线的实时音视频直播技术实践分享(视频+PPT)[附件下载]》
《微信移动端应对弱网络情况的探索和实践PPT[附件下载]》
《Android版微信从300KB到30MB的技术演进(PPT讲稿)[附件下载]》

附录2：更多实时音视频技术文章

[1] 开源实时音视频技术WebRTC的文章：
《开源实时音视频技术WebRTC的现状》
《简述开源实时音视频技术WebRTC的优缺点》
《访谈WebRTC标准之父：WebRTC的过去、现在和未来》
《良心分享：WebRTC 零基础开发者教程（中文）[附件下载]》
《WebRTC实时音视频技术的整体架构介绍》
《新手入门：到底什么是WebRTC服务器，以及它是如何联接通话的？》
《WebRTC实时音视频技术基础：基本架构和协议栈》
《浅谈开发实时视频直播平台的技术要点》
《[观点] WebRTC应该选择H.264视频编码的四大理由》
《基于开源WebRTC开发实时音视频靠谱吗？第3方SDK有哪些？》
《开源实时音视频技术WebRTC中RTP/RTCP数据传输协议的应用》
《简述实时音视频聊天中端到端加密（E2EE）的工作原理》
《实时通信RTC技术栈之：视频编解码》
《开源实时音视频技术WebRTC在Windows下的简明编译教程》
《网页端实时音视频技术WebRTC：看起来很美，但离生产应用还有多少坑要填？》
>> 更多同类文章 ……

[2] 实时音视频开发的其它精华资料：
《专访微信视频技术负责人：微信实时视频聊天技术的演进》
《实时语音聊天中的音频处理与编码压缩技术简述》
《网易视频云技术分享：音频处理与压缩技术快速入门》
《学习RFC3550：RTP/RTCP实时传输协议基础知识》
《基于RTMP数据传输协议的实时流媒体技术研究（论文全文）》
《声网架构师谈实时音视频云的实现难点(视频采访)》
《浅谈开发实时视频直播平台的技术要点》
《还在靠“喂喂喂”测试实时语音通话质量？本文教你科学的评测方法！》
《实现延迟低于500毫秒的1080P实时音视频直播的实践分享》
《移动端实时视频直播技术实践：如何做到实时秒开、流畅不卡》
《如何用最简单的方法测试你的实时音视频方案》
《技术揭秘：支持百万级粉丝互动的Facebook实时视频直播》
《简述实时音视频聊天中端到端加密（E2EE）的工作原理》
《移动端实时音视频直播技术详解（一）：开篇》
《移动端实时音视频直播技术详解（二）：采集》
《移动端实时音视频直播技术详解（三）：处理》
《移动端实时音视频直播技术详解（四）：编码和封装》
《移动端实时音视频直播技术详解（五）：推流和传输》
《移动端实时音视频直播技术详解（六）：延迟优化》
《理论联系实际：实现一个简单地基于HTML5的实时视频直播》
《IM实时音视频聊天时的回声消除技术详解》
《浅谈实时音视频直播中直接影响用户体验的几项关键技术指标》
《如何优化传输机制来实现实时音视频的超低延迟？》
《首次披露：快手是如何做到百万观众同场看直播仍能秒开且不卡顿的？》
《Android直播入门实践：动手搭建一套简单的直播系统》
《网易云信实时视频直播在TCP数据传输层的一些优化思路》
《实时音视频聊天技术分享：面向不可靠网络的抗丢包编解码器》
>> 更多同类文章 ……

附录3：全站即时通讯技术资料分类

[1] 网络编程基础资料：
《TCP/IP详解 - 第11章·UDP：用户数据报协议》
《TCP/IP详解 - 第17章·TCP：传输控制协议》
《TCP/IP详解 - 第18章·TCP连接的建立与终止》
《TCP/IP详解 - 第21章·TCP的超时与重传》
《理论经典：TCP协议的3次握手与4次挥手过程详解》
《理论联系实际：Wireshark抓包分析TCP 3次握手、4次挥手过程》
《计算机网络通讯协议关系图（中文珍藏版）》
《NAT详解：基本原理、穿越技术(P2P打洞)、端口老化等》
《UDP中一个包的大小最大能多大？》
《Java新一代网络编程模型AIO原理及Linux系统AIO介绍》
《NIO框架入门(三)：iOS与MINA2、Netty4的跨平台UDP双向通信实战》
《NIO框架入门(四)：Android与MINA2、Netty4的跨平台UDP双向通信实战》
>> 更多同类文章 ……

[2] 有关IM/推送的通信格式、协议的选择：
《为什么QQ用的是UDP协议而不是TCP协议？》
《移动端即时通讯协议选择：UDP还是TCP？》
《如何选择即时通讯应用的数据传输格式》
《强列建议将Protobuf作为你的即时通讯应用数据传输格式》
《移动端IM开发需要面对的技术问题（含通信协议选择）》
《简述移动端IM开发的那些坑：架构设计、通信协议和客户端》
《理论联系实际：一套典型的IM通信协议设计详解》
《58到家实时消息系统的协议设计等技术实践分享》
>> 更多同类文章 ……

[3] 有关IM/推送的心跳保活处理：
《Android进程保活详解：一篇文章解决你的所有疑问》
《Android端消息推送总结：实现原理、心跳保活、遇到的问题等》
《为何基于TCP协议的移动端IM仍然需要心跳保活机制？》
《微信团队原创分享：Android版微信后台保活实战分享(进程保活篇)》
《微信团队原创分享：Android版微信后台保活实战分享(网络保活篇)》
《移动端IM实践：实现Android版微信的智能心跳机制》
《移动端IM实践：WhatsApp、Line、微信的心跳策略分析》
>> 更多同类文章 ……

[4] 有关WEB端即时通讯开发：
《新手入门贴：史上最全Web端即时通讯技术原理详解》
《Web端即时通讯技术盘点：短轮询、Comet、Websocket、SSE》
《SSE技术详解：一种全新的HTML5服务器推送事件技术》
《Comet技术详解：基于HTTP长连接的Web端实时通信技术》
《WebSocket详解（一）：初步认识WebSocket技术》
《socket.io实现消息推送的一点实践及思路》
>> 更多同类文章 ……

[5] 有关IM架构设计：
《浅谈IM系统的架构设计》
《简述移动端IM开发的那些坑：架构设计、通信协议和客户端》
《一套原创分布式即时通讯(IM)系统理论架构方案》
《从零到卓越：京东客服即时通讯系统的技术架构演进历程》
《蘑菇街即时通讯/IM服务器开发之架构选择》
《腾讯QQ1.4亿在线用户的技术挑战和架构演进之路PPT》
《微信技术总监谈架构：微信之道——大道至简(演讲全文)》
《如何解读《微信技术总监谈架构：微信之道——大道至简》》
《快速裂变：见证微信强大后台架构从0到1的演进历程（一）》
《17年的实践：腾讯海量产品的技术方法论》
>> 更多同类文章 ……

[6] 有关IM安全的文章：
《即时通讯安全篇（一）：正确地理解和使用Android端加密算法》
《即时通讯安全篇（二）：探讨组合加密算法在IM中的应用》
《即时通讯安全篇（三）：常用加解密算法与通讯安全讲解》
《即时通讯安全篇（四）：实例分析Android中密钥硬编码的风险》
《传输层安全协议SSL/TLS的Java平台实现简介和Demo演示》
《理论联系实际：一套典型的IM通信协议设计详解（含安全层设计）》
《微信新一代通信安全解决方案：基于TLS1.3的MMTLS详解》
《来自阿里OpenIM：打造安全可靠即时通讯服务的技术实践分享》
>> 更多同类文章 ……

[7] 有关实时音视频开发：
《即时通讯音视频开发（一）：视频编解码之理论概述》
《即时通讯音视频开发（二）：视频编解码之数字视频介绍》
《即时通讯音视频开发（三）：视频编解码之编码基础》
《即时通讯音视频开发（四）：视频编解码之预测技术介绍》
《即时通讯音视频开发（五）：认识主流视频编码技术H.264》
《即时通讯音视频开发（六）：如何开始音频编解码技术的学习》
《即时通讯音视频开发（七）：音频基础及编码原理入门》
《即时通讯音视频开发（八）：常见的实时语音通讯编码标准》
《即时通讯音视频开发（九）：实时语音通讯的回音及回音消除概述》
《即时通讯音视频开发（十）：实时语音通讯的回音消除技术详解》
《即时通讯音视频开发（十一）：实时语音通讯丢包补偿技术详解》
《即时通讯音视频开发（十二）：多人实时音视频聊天架构探讨》
《即时通讯音视频开发（十三）：实时视频编码H.264的特点与优势》
《即时通讯音视频开发（十四）：实时音视频数据传输协议介绍》
《即时通讯音视频开发（十五）：聊聊P2P与实时音视频的应用情况》
《即时通讯音视频开发（十六）：移动端实时音视频开发的几个建议》
《即时通讯音视频开发（十七）：视频编码H.264、V8的前世今生》
《简述开源实时音视频技术WebRTC的优缺点》
《良心分享：WebRTC 零基础开发者教程（中文）》
>> 更多同类文章 ……

[8] IM开发综合文章：
《移动端IM开发需要面对的技术问题》
《开发IM是自己设计协议用字节流好还是字符流好？》
《请问有人知道语音留言聊天的主流实现方式吗？》
《IM系统中如何保证消息的可靠投递（即QoS机制）》
《谈谈移动端 IM 开发中登录请求的优化》
《完全自已开发的IM该如何设计“失败重试”机制？》
《微信对网络影响的技术试验及分析（论文全文）》
《即时通讯系统的原理、技术和应用（技术论文）》
《开源IM工程“蘑菇街TeamTalk”的现状：一场有始无终的开源秀》
>> 更多同类文章 ……

[9] 开源移动端IM技术框架资料：
《开源移动端IM技术框架MobileIMSDK：快速入门》
《开源移动端IM技术框架MobileIMSDK：常见问题解答》
《开源移动端IM技术框架MobileIMSDK：压力测试报告》
《开源移动端IM技术框架MobileIMSDK：Android版Demo使用帮助》
《开源移动端IM技术框架MobileIMSDK：Java版Demo使用帮助》
《开源移动端IM技术框架MobileIMSDK：iOS版Demo使用帮助》
《开源移动端IM技术框架MobileIMSDK：Android客户端开发指南》
《开源移动端IM技术框架MobileIMSDK：Java客户端开发指南》
《开源移动端IM技术框架MobileIMSDK：iOS客户端开发指南》
《开源移动端IM技术框架MobileIMSDK：Server端开发指南》
>> 更多同类文章 ……

[10] 有关推送技术的文章：
《iOS的推送服务APNs详解：设计思路、技术原理及缺陷等》
《Android端消息推送总结：实现原理、心跳保活、遇到的问题等》
《扫盲贴：认识MQTT通信协议》
《一个基于MQTT通信协议的完整Android推送Demo》
《求教android消息推送：GCM、XMPP、MQTT三种方案的优劣》
《移动端实时消息推送技术浅析》
《扫盲贴：浅谈iOS和Android后台实时消息推送的原理和区别》
《绝对干货：基于Netty实现海量接入的推送服务技术要点》
《移动端IM实践：谷歌消息推送服务(GCM)研究（来自微信）》
《为何微信、QQ这样的IM工具不使用GCM服务推送消息？》
>> 更多同类文章 ……

[11] 更多即时通讯技术好文分类：
http://www.52im.net/forum.php?mod=collection&op=all

（原文链接：http://www.infoq.com/cn/interviews/interview-with-sunyurun-talk-av-transmission）

声网这逼装的我给满分！

赞

提示: 该帖被管理员或版主屏蔽。
三楼，厉害啊

引用：踏雪寻梅 发表于 2019-05-27 10:04
提示: 该帖被管理员或版主屏蔽。
三楼，厉害啊

。。。

很好的额文章

都是干货