1、前言

2、系列文章

• 《移动端实时音视频直播技术详解（一）：开篇》
• 《移动端实时音视频直播技术详解（二）：采集》
• 《移动端实时音视频直播技术详解（三）：处理》
• 《移动端实时音视频直播技术详解（四）：编码和封装》（本文）
• 《移动端实时音视频直播技术详解（五）：推流和传输》
• 《移动端实时音视频直播技术详解（六）：延迟优化》
  

3、视频编码的意义

• 原始视频数据存储空间大：一个 1080P 的 7 s 视频需要 817 MB；
• 原始视频数据传输占用带宽大：10 Mbps 的带宽传输上述 7 s 视频需要 11 分钟。
  

4、基本原理

• 空间冗余：图像相邻像素之间有较强的相关性；
• 时间冗余：视频序列的相邻图像之间内容相似；
• 编码冗余：不同像素值出现的概率不同；
• 视觉冗余：人的视觉系统对某些细节不敏感；
• 知识冗余：规律性的结构可由先验知识和背景知识得到。
  

1.jpeg (32.56 KB, 下载次数: 1718)

下载附件  保存到相册

7 年前 上传

2.jpeg (89.83 KB, 下载次数: 1679)

下载附件  保存到相册

7 年前 上传

ffmpeg  -flags2 +export_mvs -i tutu.mp4 -vf codecview=mv=pf+bf+bb tutudebug2.mp4

ffmpeg -i tutudebug2.mp4 'tutunormal-%03d.bmp'

3.png (16.62 KB, 下载次数: 1714)

下载附件  保存到相册

7 年前 上传

4.png (16.51 KB, 下载次数: 1654)

下载附件  保存到相册

7 年前 上传

5、编码器的选择之H.264编码

1H.264 简介

2专利许可

3H.264 的开源实现：OpenH264、x264

• OpenH264 CPU 的占用相对 x264低很多；
• OpenH264 只支持 baseline profile，x264 支持更多 profile。
  

6、编码器的选择之HEVC/H.265编码

1HEVC/H.265 简介

2专利许可

3H.265 的开源实现：libde265、x265

7、编码器的选择之VP8

1VP8 简介

2专利许可

3VP8 的开源实现：libvpx

7、编码器的选择之VP9

1VP9 简介

2专利许可

3VP9 的开源实现：ibvpx

4VP9 和 H.264 和 HEVC 比较

a.gif (19.49 KB, 下载次数: 1645)

下载附件  保存到相册

7 年前 上传

5HEVC 和 H.264 在不同分辨率下的比较

b.gif (8.87 KB, 下载次数: 1705)

下载附件  保存到相册

7 年前 上传

• 可见码率下降了 60% 以上；
• HEVC (H.265) 对 VP9 和 H.264 在码率节省上有较大的优势，在相同 PSNR 下分别节省了 48.3% 和 75.8%；
• H.264 在编码时间上有巨大优势，对比 VP9 和 HEVC(H.265) ，HEVC 是 VP9 的 6 倍，VP9 是 H.264 的将近 40 倍。
  

8、编码器的选择之FFmpeg

1FFmpeg简介

brew install ffmpeg --with-libvpx --with-libvorbis --with-ffplay

2FFmpeg 录屏

输入：
ffmpeg -f avfoundation -list_devices true -i ""
输出：
[AVFoundation input device @ 0x7fbec0c10940] AVFoundation video devices:
[AVFoundation input device @ 0x7fbec0c10940] [0] FaceTime HD Camera
[AVFoundation input device @ 0x7fbec0c10940] [1] Capture screen 0
[AVFoundation input device @ 0x7fbec0c10940] [2] Capture screen 1
[AVFoundation input device @ 0x7fbec0c10940] AVFoundation audio devices:
[AVFoundation input device @ 0x7fbec0c10940] [0] Built-in Microphone

输入：
ffmpeg -codecs | grep 264
输出：
DEV.LS h264                 H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10 (decoders: h264 h264_vda ) (encoders: libx264 libx264rgb )

输入：
ffmpeg -codecs | grep vp8
输出：
DEV.L. vp8                  On2 VP8 (decoders: vp8 libvpx ) (encoders: libvpx )

ffmpeg -r 30 -f avfoundation -i 1 -vcodec vp8 -quality realtime screen2.webm
# -quality realtime 用来优化编码器，如果不加在我的 Air 上帧率只能达到 2
or
ffmpeg -r 30 -f avfoundation -i 1 -vcodec h264 screen.mp4

ffplay screen.mp4
or
ffplay screen2.webp

3FFmpeg 视频转换成 gif

ffmpeg -ss 10 -t 10  -i tutu.mp4  -s 80x60  tutu.gif
## -ss 指从 10s 开始转码,-t 指转换 10s 的视频 -s

4FFmpeg 录制屏幕并直播

docker pull chakkritte/docker-nginx-rtmp

mkdir ~/rtmp
docker run -d -p 80:80 -p 1935:1935 -v ~/rtmp:/usr/local/nginx/html chakkritte/docker-nginx-rtmp

ffmpeg -y -loglevel warning -f avfoundation -i 2 -r 30 -s 480x320 -threads 2 -vcodec libx264  -f flv rtmp://127.0.0.1/live/test

ffplay rtmp://127.0.0.1/live/test

9、封装

• 1）AVI 格式（后缀为 .avi）:
  它的英文全称为 Audio Video Interleaved ，即音频视频交错格式。它于 1992 年被 Microsoft 公司推出。这种视频格式的优点是图像质量好。由于无损 AVI 可以保存 alpha 通道，经常被我们使用。缺点太多，体积过于庞大，而且更加糟糕的是压缩标准不统一，最普遍的现象就是高版本 Windows 媒体播放器播放不了采用早期编码编辑的 AVI 格式视频，而低版本 Windows 媒体播放器又播放不了采用最新编码编辑的 AVI 格式视频，所以我们在进行一些 AVI 格式的视频播放时常会出现由于视频编码问题而造成的视频不能播放或即使能够播放，但存在不能调节播放进度和播放时只有声音没有图像等一些莫名其妙的问题。
• 2）DV-AVI 格式（后缀为 .avi）:
  DV 的英文全称是 Digital Video Format ，是由索尼、松下、JVC 等多家厂商联合提出的一种家用数字视频格式。数字摄像机就是使用这种格式记录视频数据的。它可以通过电脑的 IEEE 1394 端口传输视频数据到电脑，也可以将电脑中编辑好的的视频数据回录到数码摄像机中。这种视频格式的文件扩展名也是 AVI。电视台采用录像带记录模拟信号，通过 EDIUS 由IEEE 1394端口采集卡从录像带中采集出来的视频就是这种格式。
• 3）QuickTime File Format 格式（后缀为 .mov）:
  美国 Apple 公司开发的一种视频格式，默认的播放器是苹果的 QuickTime。具有较高的压缩比率和较完美的视频清晰度等特点，并可以保存 alpha 通道。
• 4）MPEG 格式（文件后缀可以是 .mpg .mpeg .mpe .dat .vob .asf .3gp .mp4等) :
  它的英文全称为 Moving Picture Experts Group，即运动图像专家组格式，该专家组建于 1988 年，专门负责为 CD 建立视频和音频标准，而成员都是为视频、音频及系统领域的技术专家。MPEG 文件格式是运动图像压缩算法的国际标准。MPEG 格式目前有三个压缩标准，分别是 MPEG－1、MPEG－2、和 MPEG－4 。MPEG－1、MPEG－2 目前已经使用较少，着重介绍 MPEG－4，其制定于 1998 年，MPEG－4 是为了播放流式媒体的高质量视频而专门设计的，以求使用最少的数据获得最佳的图像质量。目前 MPEG-4 最有吸引力的地方在于它能够保存接近于 DVD 画质的小体积视频文件。
• 5）WMV 格式（后缀为.wmv .asf）:
  它的英文全称为 Windows Media Video，也是微软推出的一种采用独立编码方式并且可以直接在网上实时观看视频节目的文件压缩格式。WMV 格式的主要优点包括：本地或网络回放,丰富的流间关系以及扩展性等。WMV 格式需要在网站上播放，需要安装 Windows Media Player（ 简称 WMP），很不方便，现在已经几乎没有网站采用了。
• 6）Real Video 格式（后缀为 .rm .rmvb）:
  Real Networks 公司所制定的音频视频压缩规范称为Real Media。用户可以使用 RealPlayer 根据不同的网络传输速率制定出不同的压缩比率，从而实现在低速率的网络上进行影像数据实时传送和播放。RMVB 格式：这是一种由 RM 视频格式升级延伸出的新视频格式，当然性能上有很大的提升。RMVB 视频也是有着较明显的优势，一部大小为 700 MB 左右的 DVD 影片，如果将其转录成同样品质的 RMVB 格式，其个头最多也就 400 MB 左右。大家可能注意到了，以前在网络上下载电影和视频的时候，经常接触到 RMVB 格式，但是随着时代的发展这种格式被越来越多的更优秀的格式替代，著名的人人影视字幕组在 2013 年已经宣布不再压制 RMVB 格式视频。
• 7）Flash Video 格式（后缀为 .flv）:
  由 Adobe Flash 延伸出来的的一种流行网络视频封装格式。随着视频网站的丰富，这个格式已经非常普及。
• 8）Matroska 格式（后缀为 .mkv）:
  是一种新的多媒体封装格式，这个封装格式可把多种不同编码的视频及 16 条或以上不同格式的音频和语言不同的字幕封装到一个 Matroska Media 档内。它也是其中一种开放源代码的多媒体封装格式。Matroska 同时还可以提供非常好的交互功能，而且比 MPEG 的方便、强大。
• 9）MPEG2-TS 格式 (后缀为 .ts)（Transport Stream「传输流」，又称 MTS、TS）：
  是一种传输和存储包含音效、视频与通信协议各种数据的标准格式，用于数字电视广播系统，如 DVB、ATSC、IPTV 等等。MPEG2-TS 定义于 MPEG-2 第一部分，系统（即原来之 ISO/IEC 标准 13818-1 或 ITU-T Rec. H.222.0）。Media Player Classic、VLC 多媒体播放器等软件可以直接播放 MPEG-TS 文件。
  

10、下篇内容提要

附录：更多实时音视频技术文章