即时通讯音视频开发（九）：实时语音通讯的回音及回音消除概述

前言

即时通讯应用中的实时音视频技术，几乎是IM开发中的最后一道高墙。原因在于：实时音视频技术 = 音视频处理技术 + 网络传输技术 的横向技术应用集合体，而公共互联网不是为了实时通信设计的。有关实时音视频开发时的技术难题请参见《音视频云声网Agora：从demo到实用，中间还差1万个WebRTC》：http://www.52im.net/article-119-1.html

本文是一篇介绍实时音频通讯过程中的回音问题，以及回音消除技术的介绍文章。

系列文章

本文是系列文章中的第9篇，本系列文章的大纲如下：

• 《即时通讯音视频开发（一）：视频编解码之理论概述》
• 《即时通讯音视频开发（二）：视频编解码之数字视频介绍》
• 《即时通讯音视频开发（三）：视频编解码之编码基础》
• 《即时通讯音视频开发（四）：视频编解码之预测技术介绍》
• 《即时通讯音视频开发（五）：认识主流视频编码技术H.264》
• 《即时通讯音视频开发（六）：如何开始音频编解码技术的学习》
• 《即时通讯音视频开发（七）：音频基础及编码原理入门》
• 《即时通讯音视频开发（八）：常见的实时语音通讯编码标准》
• 《即时通讯音视频开发（九）：实时语音通讯的回音及回音消除概述》（本文）
• 《即时通讯音视频开发（十）：实时语音通讯的回音消除技术详解》
• 《即时通讯音视频开发（十一）：实时语音通讯丢包补偿技术详解》
• 《即时通讯音视频开发（十二）：多人实时音视频聊天架构探讨》
• 《即时通讯音视频开发（十三）：实时视频编码H.264的特点与优势》
• 《即时通讯音视频开发（十四）：实时音视频数据传输协议介绍》
• 《即时通讯音视频开发（十五）：聊聊P2P与实时音视频的应用情况》
• 《即时通讯音视频开发（十六）：移动端实时音视频开发的几个建议》
• 《即时通讯音视频开发（十七）：视频编码H.264、V8的前世今生》
• 《即时通讯音视频开发（十八）：详解音频编解码的原理、演进和应用选型》
• 《即时通讯音视频开发（十九）：零基础，史上最通俗视频编码技术入门》（必读）
• 《即时通讯音视频开发（二十）：一文读懂视频的颜色模型转换和色域转换》
  

什么是回音？

在一般的VOIP软件或视频会议系统中，假设我们只有A和B两个人在通话，首先，A的声音传给B，B然后用喇叭放出来，而这时B的MIC则会采集到喇叭放出来的声音，然后传回给A，如果这个传输的过程中时延足够大，A就会听到自己刚才说的话，这就是回音。

什么是回音消除？

回音消除的作用就是在B端对B采集到的声音进行处理，把采集到的声音中包含的A的声音去掉之后在传给A，这样A就不会听到自己说过的话了。

回音消除并不容易

传给回音消除器的两个声音信号，必须同步得非常好，就是说在B端接收到A说的话以后，要把这些声音数据传给回声消除器做参考，然后再传给声卡，声卡播放出来，这里有一段延时，这时B再采集，然后传给回音消除器，与那个参考数据比较，从采集到的数据中把频率和参考数据相同的部分消除掉。

如果传给消除器的两个信号同步得不好，即两个信号找不到频率相同的部分，就没有办法进行消除了。

在一般的VOIP软件中，接收对方的声音并传到声卡中播放是在一个线程中进行的，而采集本地的声音并传送到对方又是在另一个线程中进行的，而声学回声消除器在对采集到的声音进行回声消除的同时，还需要播放线程中的数据作为参考，而要同步这两个线程中的数据是非常困难的，因为稍稍有些不同步，声学回声消除器中的自适应滤波器就会发散，不但消除不了回声，还会破坏采集到的原始声音，使被破坏的声音难以分辨。

声学回音主要又分成以下两种：

• 直接回音：由扬声器产生的声音未经任何反射直接进入麦克风
• 间接回音：由扬声器发出的声音经过多次反射后，再进入Mic
  

对于第二种回声，拥有多路径、时变性的特点，是比较难处理的。

回音消除的方法

第一种：通过硬件实现，有很多手机就是这么做的，也有专业的芯片，但是只支持8khz的，如果要求高质量的音质的话，基本实现不了。

第二种：通过软件实现，qq，msn，skype很多具有通话功能的软件，现在都具有回声消除的功能（需是比较高版本的，低版本的可能没有），但是实现代码是不对外的，开源的回声消除代码只有speex和webrtc。

一般常用的开源的AEC有两个：Speex 和 webrtc。webrtc相对比Speex强的多，原因如下：

1、webrtc有回声时延估计算法模块
2、webrtc有neteq模块
3、webrtc核心就是gips，原因你懂的。

参考资料

http://blog.csdn.net/u012931018/article/details/17045077
http://silversand.blog.51cto.com/820613/166095

附录：更多实时音视频技术文章

[1] 开源实时音视频技术WebRTC的文章：
《开源实时音视频技术WebRTC的现状》
《简述开源实时音视频技术WebRTC的优缺点》
《访谈WebRTC标准之父：WebRTC的过去、现在和未来》
《良心分享：WebRTC 零基础开发者教程（中文）[附件下载]》
《WebRTC实时音视频技术的整体架构介绍》
《新手入门：到底什么是WebRTC服务器，以及它是如何联接通话的？》
《WebRTC实时音视频技术基础：基本架构和协议栈》
《浅谈开发实时视频直播平台的技术要点》
《[观点] WebRTC应该选择H.264视频编码的四大理由》
《基于开源WebRTC开发实时音视频靠谱吗？第3方SDK有哪些？》
《开源实时音视频技术WebRTC中RTP/RTCP数据传输协议的应用》
《简述实时音视频聊天中端到端加密（E2EE）的工作原理》
《实时通信RTC技术栈之：视频编解码》
《开源实时音视频技术WebRTC在Windows下的简明编译教程》
《网页端实时音视频技术WebRTC：看起来很美，但离生产应用还有多少坑要填？》
《了不起的WebRTC：生态日趋完善，或将实时音视频技术白菜化》
《腾讯技术分享：微信小程序音视频与WebRTC互通的技术思路和实践》
《融云技术分享：基于WebRTC的实时音视频首帧显示时间优化实践》
>> 更多同类文章 ……

[2] 实时音视频开发的其它精华资料：
《实时语音聊天中的音频处理与编码压缩技术简述》
《网易视频云技术分享：音频处理与压缩技术快速入门》
《学习RFC3550：RTP/RTCP实时传输协议基础知识》
《基于RTMP数据传输协议的实时流媒体技术研究（论文全文）》
《声网架构师谈实时音视频云的实现难点(视频采访)》
《浅谈开发实时视频直播平台的技术要点》
《还在靠“喂喂喂”测试实时语音通话质量？本文教你科学的评测方法！》
《实现延迟低于500毫秒的1080P实时音视频直播的实践分享》
《移动端实时视频直播技术实践：如何做到实时秒开、流畅不卡》
《如何用最简单的方法测试你的实时音视频方案》
《技术揭秘：支持百万级粉丝互动的Facebook实时视频直播》
《简述实时音视频聊天中端到端加密（E2EE）的工作原理》
《移动端实时音视频直播技术详解（一）：开篇》
《移动端实时音视频直播技术详解（二）：采集》
《移动端实时音视频直播技术详解（三）：处理》
《移动端实时音视频直播技术详解（四）：编码和封装》
《移动端实时音视频直播技术详解（五）：推流和传输》
《移动端实时音视频直播技术详解（六）：延迟优化》
《理论联系实际：实现一个简单地基于HTML5的实时视频直播》
《IM实时音视频聊天时的回声消除技术详解》
《浅谈实时音视频直播中直接影响用户体验的几项关键技术指标》
《如何优化传输机制来实现实时音视频的超低延迟？》
《首次披露：快手是如何做到百万观众同场看直播仍能秒开且不卡顿的？》
《Android直播入门实践：动手搭建一套简单的直播系统》
《网易云信实时视频直播在TCP数据传输层的一些优化思路》
《实时音视频聊天技术分享：面向不可靠网络的抗丢包编解码器》
《P2P技术如何将实时视频直播带宽降低75%？》
《专访微信视频技术负责人：微信实时视频聊天技术的演进》
《腾讯音视频实验室：使用AI黑科技实现超低码率的高清实时视频聊天》
《微信团队分享：微信每日亿次实时音视频聊天背后的技术解密》
《近期大热的实时直播答题系统的实现思路与技术难点分享》
《福利贴：最全实时音视频开发要用到的开源工程汇总》
《七牛云技术分享：使用QUIC协议实现实时视频直播0卡顿！》
《实时音视频聊天中超低延迟架构的思考与技术实践》
《理解实时音视频聊天中的延时问题一篇就够》
《实时视频直播客户端技术盘点：Native、HTML5、WebRTC、微信小程序》
《写给小白的实时音视频技术入门提纲》
《微信多媒体团队访谈：音视频开发的学习、微信的音视频技术和挑战等》
《腾讯技术分享：微信小程序音视频技术背后的故事》
《微信多媒体团队梁俊斌访谈：聊一聊我所了解的音视频技术》
《新浪微博技术分享：微博短视频服务的优化实践之路》
《实时音频的混音在视频直播应用中的技术原理和实践总结》
《以网游服务端的网络接入层设计为例，理解实时通信的技术挑战》
《腾讯技术分享：微信小程序音视频与WebRTC互通的技术思路和实践》
《新浪微博技术分享：微博实时直播答题的百万高并发架构实践》
《技术干货：实时视频直播首屏耗时400ms内的优化实践》
《爱奇艺技术分享：轻松诙谐，讲解视频编解码技术的过去、现在和将来》
《零基础入门：实时音视频技术基础知识全面盘点》
《实时音视频面视必备：快速掌握11个视频技术相关的基础概念》
《淘宝直播技术干货：高清、低延时的实时视频直播技术解密》
>> 更多同类文章 ……

（原文链接：点此进入）

以前只是听人说过，看了这篇文章终于有点概念了，多谢分享~~

评分这功能有意思。没事就评一下 哈哈

谢谢分享

感谢分享

之前测试过安卓开发出现啸音的问题，没看到这篇文章，那个坑没过去。。。泪奔

引用：西周明月夜 发表于 2018-12-12 18:52
之前测试过安卓开发出现啸音的问题，没看到这篇文章，那个坑没过去。。。泪奔

测试的时候两个的手机放太近了吧

顶！

知道个大概了

感谢评论，真是精华文章

微信到现在进行视频或者语音通话还有回声的问题，听起来巨难受

引用：behold 发表于 2020-11-05 18:03
微信到现在进行视频或者语音通话还有回声的问题，听起来巨难受

技术上要想绝对消除是很困难的，通俗的说，所谓的噪音消除，相当于识出这个噪音，然后用一个反向的数字信号量抵消它，这要做到完美，真的很困难

neteq和消除回声没有关系吧，net eq是解决网络传输延迟均衡的