爱奇艺技术分享：轻松诙谐，讲解视频编解码技术的过去、现在和将来

本文由公众号“脑极体”原创分享，为了更好的内容呈现，即时通讯网收录时有优化和改动，原文链接在文末。

1、内容点评

本文以轻松幽默的语气，讲解了视频编解码的一些基本常识，并以爱奇艺为例，讲述了视频编解码技术在国内的发展以及未来的一些展望。

▼ 阅读本文需要有一些音视频编解码技术的基础，否则请先阅读以下文章：

• 《即时通讯音视频开发（一）：视频编解码之理论概述》
• 《即时通讯音视频开发（二）：视频编解码之数字视频介绍》
• 《即时通讯音视频开发（三）：视频编解码之编码基础》
• 《即时通讯音视频开发（十九）：零基础，史上最通俗视频编码技术入门》
  

本文并未就具体的视频编解码概念进行深入的讨论，目的是尽可能以浅显易懂的方式让读者轻松了解本文标题想呈现的内容。如果您想深入了解视频编解码技术，可继续阅读以下文章。

▼ 以下是比较深入的视频编解码相关文章：

• 《即时通讯音视频开发（四）：视频编解码之预测技术介绍》
• 《即时通讯音视频开发（五）：认识主流视频编码技术H.264》
• 《即时通讯音视频开发（十三）：实时视频编码H.264的特点与优势》
• 《即时通讯音视频开发（十七）：视频编码H.264、VP8的前世今生》
• 《即时通讯音视频开发（十八）：详解音频编解码的原理、演进和应用选型》
• 《移动端实时音视频直播技术详解（四）：编码和封装》
• 《[观点] WebRTC应该选择H.264视频编码的四大理由》
  

▼ 爱奇艺技术产品团队还分享了其它两篇文章，有兴趣也可以读一读：

• 《爱奇艺移动端网络优化实践分享：网络请求成功率优化篇》
• 《爱奇艺技术分享：爱奇艺Android客户端启动速度优化实践总结》
  

欢迎关注“即时通讯技术圈”，更多好文会同步发布在公众号：

2、正文引言

初夏最火的造型是什么？不少人可能会脱口而出——“淡黄的长裙，蓬松的头发。。。”

就连我这个上古时期的老年人，都开始每周四和周六准时点开爱奇艺首页，吸一口青春美少女们。原因无他，后疫情灰色时期，还有什么能比漂亮小姐姐的灿烂笑容更能让人感觉到人间值得呢？而我上一次真情实感追完的的女团选秀，可能要追溯到……《超级女声》。



不管自己pick的姐姐妹妹能不能顺利出道，至少今天在屏幕上欣赏她们的颜，绝对是一件超幸福的事儿。既不用忍受电视的“马赛克画质”，还能随时随地掏出手机来欣赏妹妹们今日份的可爱。



不知道大家有没有同一种快乐，那就是用4G网络看蓝光1080P，已经没有“流量焦虑”了，出现缓冲旋转“小菊花”的情况的几率也在悄然减少。这种观看体验的优化，除了通信网络环境的改变之外，缔造这种视觉快乐的一项关键技术——视频编码，就像是宇宙中的暗物质——鲜为人知，但十分重要。

简单来说：视频编码技术的升级，能够让你用更少的流量、更低的带宽、更快的速度，看更高清晰度的视频画面。比如《青春有你2》溢出屏幕的元气少女感，是不是比2005年的朦胧美更令人心动呢？



习惯了1080P高清的用户，绝对不愿意再回到480P的自动马赛克时代了。那么，视频编码到底在高清视频的烹制中，发挥了怎样神奇的化学反应？搞秀之余，不妨来了解一下视频编码的前世今生，看看无数科技巨头如何围绕它撕得花红柳绿。

3、曾今的视频编码标准，是IT巨头们“跑马圈地”的游戏

曾今的视频编码标准，巨头们争相“入股”，视频编码标准有何诱人之处？

思科、微软、苹果、谷歌、奈飞等这些大名鼎鼎的巨头，为什么都觉得视频编码技术这波“入股不亏”，非要pick助其出道？

回答这个问题之前，有必要先简单解释一下，视频编码技术究竟是干什么的？

简单来说：就是将视频压缩成一定的格式，去除掉其中的空间冗余和时间冗余，形成更适合存储和传输的码流。之所以需要被编码压缩，最主要原因就是原始视频的数据量过于庞大。高清视频文件往往高达1G以上，如果本地播放也就算了，一旦需要将其上传、分享给他人，传输网络和存储设备都扛不住那么巨大的数据量。

所以视频平台就需要对所播放的文件进行重构：

• 1）通过压缩编码将数据量变小，以方便传输；
• 2）再依靠解压缩在用户端解码，将视频图像还原出来。
  

简单总结就是：编码效率决定了你的手机能下载多少部高清视频。



如果你经历过一晚上不关机终于下好一部2G大小的视频，却发现播放器弹出一行大字——“该视频无法播放”的绝望，那一定会鼓掌欢迎编解码技术的更新。



当然，一些“有流量任性”的小伙伴也会选择直接用4G网络在线观看视频，这时候视频大小可就没什么影响了吧？

这么想可就太天真了。视频编码技术越强，传输需要占用的带宽也就更小，就像堤坝没有加固，但冲击河道的流水变小了，自然也就不会出现出水口淤塞的问题，看视频卡顿、掉帧的事故也就不会上演了。

比如此次疫情期间，网络流量比例不断增加，为互联网服务商带来极大的挑战，传统的解决方案就是在网络带宽有限的前提下，降低视频的清晰度。如，YouTube、亚马逊旗下Prime Video、Netflix等一众互联网视频提供商都在欧洲、印度、澳大利亚等国家降低了视频画质，用户只能默认收看标清视频。

可是，吃惯了高清这盘珍馐，哪个用户还愿意忍受低画质的粗茶淡饭呢？为了留住挑剔的内容食客们，平台们不得不想尽办法，提升对视频的烹饪技艺。

那么，让我们得以随时随地追剧追综的视频编解码技术，到底有哪些呢？

目前，国际上主要有几种主流的视频编解码标准（国际上音视频编码技术的标准化），包括VPx（VP8，VP9），H.26x（H.264，H.265），AVS（AVS1，AVS2），AVx（AV1）等等。视频平台们用某一种通用编码格式标准，自己开发编码器，就可以用更厉害的标准批量生产视频了。

可详读以下相关文章：

• 《即时通讯音视频开发（五）：认识主流视频编码技术H.264》
• 《即时通讯音视频开发（十三）：实时视频编码H.264的特点与优势》
• 《即时通讯音视频开发（十七）：视频编码H.264、VP8的前世今生》
• 《[观点] WebRTC应该选择H.264视频编码的四大理由》
  

这些标准都是什么？到底哪个更厉害？为什么每个字符我都认识但完全不知道是干什么的？甚至还有种被张含韵张韶涵张涵予张予曦张馨予等支配的恐惧，傻傻分不清楚……别急，其实就算是流媒体从业者，也很少有人将它们搞清楚。其实吧，只需要了解三个关键点，你就能轻松变成“技术派”碾压不少业内人士了。

简单来说：不同的视频编码标准，就是围绕三个要素所展开的“量子纠缠”的。

4、视频编码标准要素之一：高清

上世纪90年代，第一代视频编码标准H.261和MPEG-1就开始出现，其后几乎每十年就有一次迭代更新。

启动视频编码技术不断演进的核心要素，还是人们对于高清、更高清的不断追求。

视频编码技术每进化一代，视频压缩效率都至少提高了一倍。比如十几年前第二代视频编码标准VP8 和 H.264，只能应用在低于HD的中小分辨率视频上，稍微兼顾一点1080P分辨率。而2012年爱立信公司推出了首款H.265编解码器，所引领的第三代视频编码HEVC标准就只需H.264一半带宽，即可播放相同质量的视频。

啥意思的？如果你是一个拥有过MP4设备的互联网早期弄潮儿，同样大的存储空间，你可以多下载一倍大小的视频，告别四处借硬盘的苦日子。

在线看视频则更爽了，基于编解码标准，智能手机、平板等移动设备也能够直接在线播放 1080P 的全高清视频，还支持4K 和 8K 超高清。也就是说，只要有内容方愿意生产8K视频，平台就能给你100%还原出画面来，而不用受最高清晰度720P这样的限制。

那么，为什么HEVC标准推出2年后，采用AV1格式的消费类设备又开始出现呢？因为移动互联网的爆发，原有的编码标准依然不能完全解决带宽消耗的问题。所以更高效的视频编码标准如AVS3、H.266等，也都相继被研发人员安排上了。

为什么视频平台关于编码标准的“墙头”这么多？

试想一下，如果你用的是一个高分辨率配置的智能手机，但视频只能到480P的清晰度，为硬件高配置花的钱不就白瞎了吗？有的用户为了防止观看卡顿或模糊，还得额外下一个完美解码、格式工厂之类的第三方解码器，将视频转化一下才能看。

而只要视频平台支持更高效率的编解码标准，就能实现低带宽下播放高清视频不卡顿的效果。有现炒的热菜，谁还愿意等打包的盒饭呢？所以细心的读者会发现，编码技术的不断升级，开始让第三方编码工具悄悄退出了追剧党的工具箱。

5、视频编码标准要素之二：专利

尽管用户体验是视频编码技术的首要进化原则，但专利所带来的限制与成本，也成为产业风云迭起的重要诱因。

由GE、Technicolor、杜比，飞利浦和三菱等组建的H.265专利联盟HEVC Advance，就向使用该标准的厂商收取专利费。

因此，不少开源标准逐渐崛起。其中谷歌打造的VP9标准就是最负盛名的一个。不仅在实际效率上与HEVC/H.265接近，大大优于H.264及它的前身VP8，而且可以对专利免费使用。很快，YouTube全面支持VP9超高清流媒体节目，Netflix、苹果等也加入其中。

当年，爱奇艺的《破冰行动》无疑是热度最高的"爆款剧"之一，一度引起风靡，高清流畅的画面质感为其加分增色不少，就采用了基于VP9标准开发的全新编码器，就采用了基于VP9标准开发的全新编码器面部细节等方面画面真实感尤为显著。



而我国自主知识产权的第二代信源编码标准AVS的出现，更与专利有着不解之缘。

大家的童年有没有出现过DVD这种物件，租一部剧不用等更新一个周末看完的快乐，不亚于今天购买视频平台尊贵的“VIP中P”会员。但中国的DVD行业曾经也遇到过一次严重的专利危机。

2002年，一批出口的DVD产品因为技术专利费的缴纳问题没有解决而被扣押。于是同年6月，数字音视频编解码技术标准工作组成立，2006年，第一代视频编码标准AVS1推出，压缩效率和H.264相当，并且每个编解码器只象征性得收取1元专利费，对互联网上的软件服务更是免收专利费，从此摆脱了只能使用国际标准、被高额专利费卡脖子的窘境。

可以说，目前主流的两大标准VP9和AVS，都是在专利的锁链中生长出来的自由之翼。

6、视频编码标准要素之三：垄断

既然VP9已经开源了，那就抱紧谷歌大腿等大佬迭代再应用不就好了吗？一个国家的大部分视频都坐落在某一个标准体系上，等于将标准的议价权交到了别人手中，面对这种“垄断优势”，谷歌表示，我疯起来可能连自己都打，为了不作恶还是赶紧给自己培养个对手吧……

所以2015年，一个由谷歌倡议并参与，试图替代VP9和HEVC/H.265的新标准组织成立了，那就是开放媒体联盟Alliance for Open Media（AOM）。这个新的开源标准很快吸引了Adobe、亚马逊、AMD、奈飞、Facebook、思科、苹果、英特尔、英伟达等等巨头的参与。中国的爱奇艺也率先加入了AOM联盟。

这个由30多家领先的高科技公司组成的会员制联盟，很快开发出了新一代开源的视频编码标准AV1（AOMedia Video Codec 1.0），也就是今天能让我们看到高清版《青春有你2》，特别是选秀舞台上的说唱、劲舞的画面更加清晰平滑的“后台”。



AV1之所以在产业端迅速上马，成为包括奈飞、YouTube、BBC、爱奇艺等一众平台的推行目标，主要就是在用户体验上太能打了。

更高的编码效率、更低的码率，同等质量可以节省20%以上的带宽。举个例子，就是下载整期1080P版《青春有你2》，原本需要10G的手机存储，而AV1标准下只需要8G就能搞定，剩下2G空间咱们存点PLMM（漂亮妹妹）的高清大图舔颜它不香吗？

在线观看也很爽，不仅妹妹们的脸看起来会更清晰，而且高清播放所占的带宽也更小，同时下载个东西、刷个微博啥的，也不会因为网络拥挤而卡顿。

作为视频观众，谁不愿意平台默默地为我们殚精竭虑，周全每一点流量、带宽和存储卡呢？



不难看出，视频编码标准迭代，既是技术天花板的层层上探，也是整个视频平台必须攻占的体验高地。

7、如今，国内的视频平台正在抢跑编码标准“赛道”

具体到国内视频平台上，关于编码标准目前竞争身位如何，未来还有哪些硬仗要打，都是值得我们重点关注的话题。我们不妨具体到某一个平台的探索经历之中，用历史观的视角来捋一捋，视频编码技术到底给中国这片土地的网民，带来了哪些体验上的蝶变。

比如：以爱奇艺为例，2016年爱奇艺在万能播放器上线了AVS2格式，是当时国内唯一支持这一标准的平台；也是国内第一个实现VP9标准、AV1标准并应用的视频厂商。可以说在编码标准领域，无论是技术领先度、布局完善度上，都能够从一定程度代表中国流媒体产业的关键抉择。

有了标准，是不是只需要拿来直接上手呢？答案显然是否定的。

拿爱奇艺来说，我们的标准探索之旅，又是如何的呢？

我们就以当前效率最高的AV1标准为例，其算法运算复杂度高，所需要的编码时间很长，这样把平台所有视频都处理一遍，可能会等来用户一句“奶奶你等的AV1格式上线了”！

所以，为了提高编码效率，让处理效果能够快速细致，又不影响编码质量，达到工业应用标准，标准编码器就要靠各个平台发挥自主能动性了。

以爱奇艺为例，对每一代开源技术都保持紧密跟进的同时，也会发挥自身的技术特长来进行针对性的迭代，让同一标准在爱奇艺平台上的应用有更优秀的表现。

比如VP9标准推出时，爱奇艺的技术团队就根据开源的版本VP9编码器进行了专门的算法优化，所开发的QVP9编码器的速率是开源版本的5.4倍左右。作为国内首先支持VP9的视频厂商，其画面质量在快速镜头、轮廓边缘、面部细节等方面真实感尤为显著，压缩效率比市面主流的标准更是提升了一倍。可能也是在不知不觉间，突然发现视频中那些高速打斗的场面似乎更加细腻流畅了，人物的皮肤也变得更加立体和容易辨别，连女主角额头的青春痘都是那么的昭然若揭……



而伴随着用户在移动场景下观看视频的诉求越来越高，比如我本人就喜欢在地铁上刷短视频，别问，问就是流量多有钱任性！这时候要保证流畅不卡顿，主打PC端的VP9可能就有点不够了，所以对移动端设备更友好的AV1，在推出后也很快被安排的明明白白。

独立研发的QAV1编码器，不仅比H265减小将近一半的带宽，节省40%以上码率。而且速度比开源编码器SVT-AV1还快出5倍左右。比如同样是看《青春有你2》，用QAV1展示的画面效果更棒、颜值更高，反而还更省带宽，直接帮助我节省了不少流量，让满额限速来的更晚一些。

8、展望未来，5G让视频编解码技术有了更多的想象空间

目前，首批应用 AV1 的电影已经在爱奇艺上线，用户可以在电脑浏览器端和安卓移动端观看。做到这一步，很难吗？

答案是肯定的。举个例子，终端硬件解码芯片的成熟，与某项标准能否发挥价值有直接关系。比如H.265在硬件支持上比较广泛，就与苹果、高通、英特尔等的芯片都支持H.265的硬件解码器有关。

所以编码器往往需要结合具体的应用场景来进行改进和深度优化。

以AV1在爱奇艺的应用为例，为了更好地适应爱奇艺海量内容，QAV1通过对场景复杂度的预分析，实现了更加合理的码率分配。对于简单场景，QAV1可以自适应地降低码率，在保证画质的情况下节省用户带宽；同时对于复杂场景会适当提高码率，给用户带来更高画质的体验。



目前，QAV1已经支持的功能包括多种速度档次、多种码率控制方式、8K视频编码等。这种与差异化环境相匹配的细节打磨，同时兼顾了网络带宽与用户体验。

万众期待的5G，自然也需要与之匹配的视频编码标准来呼应。以爱奇艺为例来说，AVS3应用已经在路上了，用移动智能手机看8K超高清视频、浏览VR新闻资讯、与虚拟偶像互动……这些新娱乐体验，或许都将借助视频编码的技术魔术，被呈现到我们眼前。

从爱奇艺的视频编码探索中，不难看到，技术的时代快车并不容易拿到船票的。唯有长期披荆斩棘，才能顺利摘得王冠。

（本文原文链接：https://mp.weixin.qq.com/s/PfBOIcAfj04wocutEwMnew）

附录：更多音视频技术方面的资料

[1] 实时音视频开发的精华资料：
《即时通讯音视频开发（一）：视频编解码之理论概述》
《即时通讯音视频开发（二）：视频编解码之数字视频介绍》
《即时通讯音视频开发（三）：视频编解码之编码基础》
《即时通讯音视频开发（四）：视频编解码之预测技术介绍》
《即时通讯音视频开发（五）：认识主流视频编码技术H.264》
《即时通讯音视频开发（六）：如何开始音频编解码技术的学习》
《即时通讯音视频开发（七）：音频基础及编码原理入门》
《即时通讯音视频开发（八）：常见的实时语音通讯编码标准》
《即时通讯音视频开发（九）：实时语音通讯的回音及回音消除概述》
《即时通讯音视频开发（十）：实时语音通讯的回音消除技术详解》
《即时通讯音视频开发（十一）：实时语音通讯丢包补偿技术详解》
《即时通讯音视频开发（十二）：多人实时音视频聊天架构探讨》
《即时通讯音视频开发（十三）：实时视频编码H.264的特点与优势》
《即时通讯音视频开发（十四）：实时音视频数据传输协议介绍》
《即时通讯音视频开发（十五）：聊聊P2P与实时音视频的应用情况》
《即时通讯音视频开发（十六）：移动端实时音视频开发的几个建议》
《即时通讯音视频开发（十七）：视频编码H.264、VP8的前世今生》
《即时通讯音视频开发（十八）：详解音频编解码的原理、演进和应用选型》
《即时通讯音视频开发（十九）：零基础，史上最通俗视频编码技术入门》
《实时语音聊天中的音频处理与编码压缩技术简述》
《网易视频云技术分享：音频处理与压缩技术快速入门》
《学习RFC3550：RTP/RTCP实时传输协议基础知识》
《基于RTMP数据传输协议的实时流媒体技术研究（论文全文）》
《声网架构师谈实时音视频云的实现难点(视频采访)》
《浅谈开发实时视频直播平台的技术要点》
《还在靠“喂喂喂”测试实时语音通话质量？本文教你科学的评测方法！》
《实现延迟低于500毫秒的1080P实时音视频直播的实践分享》
《移动端实时视频直播技术实践：如何做到实时秒开、流畅不卡》
《如何用最简单的方法测试你的实时音视频方案》
《技术揭秘：支持百万级粉丝互动的Facebook实时视频直播》
《简述实时音视频聊天中端到端加密（E2EE）的工作原理》
《移动端实时音视频直播技术详解（一）：开篇》
《移动端实时音视频直播技术详解（二）：采集》
《移动端实时音视频直播技术详解（三）：处理》
《移动端实时音视频直播技术详解（四）：编码和封装》
《移动端实时音视频直播技术详解（五）：推流和传输》
《移动端实时音视频直播技术详解（六）：延迟优化》
《理论联系实际：实现一个简单地基于HTML5的实时视频直播》
《IM实时音视频聊天时的回声消除技术详解》
《浅谈实时音视频直播中直接影响用户体验的几项关键技术指标》
《如何优化传输机制来实现实时音视频的超低延迟？》
《首次披露：快手是如何做到百万观众同场看直播仍能秒开且不卡顿的？》
《Android直播入门实践：动手搭建一套简单的直播系统》
《网易云信实时视频直播在TCP数据传输层的一些优化思路》
《实时音视频聊天技术分享：面向不可靠网络的抗丢包编解码器》
《P2P技术如何将实时视频直播带宽降低75%？》
《专访微信视频技术负责人：微信实时视频聊天技术的演进》
《腾讯音视频实验室：使用AI黑科技实现超低码率的高清实时视频聊天》
《微信团队分享：微信每日亿次实时音视频聊天背后的技术解密》
《近期大热的实时直播答题系统的实现思路与技术难点分享》
《福利贴：最全实时音视频开发要用到的开源工程汇总》
《七牛云技术分享：使用QUIC协议实现实时视频直播0卡顿！》
《实时音视频聊天中超低延迟架构的思考与技术实践》
《理解实时音视频聊天中的延时问题一篇就够》
《实时视频直播客户端技术盘点：Native、HTML5、WebRTC、微信小程序》
《写给小白的实时音视频技术入门提纲》
《微信多媒体团队访谈：音视频开发的学习、微信的音视频技术和挑战等》
《腾讯技术分享：微信小程序音视频技术背后的故事》
《微信多媒体团队梁俊斌访谈：聊一聊我所了解的音视频技术》
《新浪微博技术分享：微博短视频服务的优化实践之路》
《实时音频的混音在视频直播应用中的技术原理和实践总结》
《以网游服务端的网络接入层设计为例，理解实时通信的技术挑战》
《腾讯技术分享：微信小程序音视频与WebRTC互通的技术思路和实践》
《新浪微博技术分享：微博实时直播答题的百万高并发架构实践》
《技术干货：实时视频直播首屏耗时400ms内的优化实践》
《爱奇艺技术分享：轻松诙谐，讲解视频编解码技术的过去、现在和将来》
>> 更多同类文章 ……

[2] 开源实时音视频技术WebRTC的文章：
《开源实时音视频技术WebRTC的现状》
《简述开源实时音视频技术WebRTC的优缺点》
《访谈WebRTC标准之父：WebRTC的过去、现在和未来》
《良心分享：WebRTC 零基础开发者教程（中文）[附件下载]》
《WebRTC实时音视频技术的整体架构介绍》
《新手入门：到底什么是WebRTC服务器，以及它是如何联接通话的？》
《WebRTC实时音视频技术基础：基本架构和协议栈》
《浅谈开发实时视频直播平台的技术要点》
《[观点] WebRTC应该选择H.264视频编码的四大理由》
《基于开源WebRTC开发实时音视频靠谱吗？第3方SDK有哪些？》
《开源实时音视频技术WebRTC中RTP/RTCP数据传输协议的应用》
《简述实时音视频聊天中端到端加密（E2EE）的工作原理》
《实时通信RTC技术栈之：视频编解码》
《开源实时音视频技术WebRTC在Windows下的简明编译教程》
《网页端实时音视频技术WebRTC：看起来很美，但离生产应用还有多少坑要填？》
《了不起的WebRTC：生态日趋完善，或将实时音视频技术白菜化》
《腾讯技术分享：微信小程序音视频与WebRTC互通的技术思路和实践》
>> 更多同类文章 ……

不错,对于不想深入了解音视频技术的人，读起来很轻松@@@

图不错