网络编程懒人入门(十二)：快速读懂Http/3协议，一篇就够！

本文中文译文由作者“ably.io”发布于公众号“高可用架构”，译文原题：《深入解读HTTP3的原理及应用》、英文原题：《HTTP/3 deep dive》（文末有译文和原文链接），即时通讯网收录时有少许改动，感谢原作者和译者的分享。

1、引言

HTTP3是HTTP协议的最新版本。从诞生之初，HTTP就是交换超文本文档的首选应用层协议。多年来，为了跟上互联网的发展，以及WWW上交换的内容种类增加，HTTP进行了几次重大升级，而HTTP/3就是目前的最新版本。

本文将从HTTP/3的基本概念、技术原理、应用场景和如何使用它等方面进行介绍，确保在有限的篇幅内，能让你通俗地理解它。



本文是系列文章中的第12篇，本系列文章的大纲如下：

• 《网络编程懒人入门(一)：快速理解网络通信协议（上篇）》
• 《网络编程懒人入门(二)：快速理解网络通信协议（下篇）》
• 《网络编程懒人入门(三)：快速理解TCP协议一篇就够》
• 《网络编程懒人入门(四)：快速理解TCP和UDP的差异》
• 《网络编程懒人入门(五)：快速理解为什么说UDP有时比TCP更有优势》
• 《网络编程懒人入门(六)：史上最通俗的集线器、交换机、路由器功能原理入门》
• 《网络编程懒人入门(七)：深入浅出，全面理解HTTP协议》
• 《网络编程懒人入门(八)：手把手教你写基于TCP的Socket长连接》
• 《网络编程懒人入门(九)：通俗讲解，有了IP地址，为何还要用MAC地址？》
• 《网络编程懒人入门(十)：一泡尿的时间，快速读懂QUIC协议》
• 《网络编程懒人入门(十一)：一文读懂什么是IPv6》
• 《网络编程懒人入门(十二)：快速读懂Http/3协议，一篇就够！》（本文）
• 《网络编程懒人入门(十三)：一泡尿的时间，快速搞懂TCP和UDP的区别》
• 《网络编程懒人入门(十四)：到底什么是Socket？一文即懂！》
• 《网络编程懒人入门(十五)：外行也能读懂的网络硬件设备功能原理速成》
  

欢迎关注“即时通讯技术圈”，更多好文会同步发布在公众号：

2、相关文章

• 《从HTTP/0.9到HTTP/2：一文读懂HTTP协议的历史演变和设计思路》
• 《网络编程懒人入门(七)：深入浅出，全面理解HTTP协议》
• 《脑残式网络编程入门(三)：HTTP协议必知必会的一些知识》
• 《网络编程懒人入门(十)：一泡尿的时间，快速读懂QUIC协议》（推荐）
• 《技术扫盲：新一代基于UDP的低延时网络传输层协议——QUIC详解》（推荐）
  

3、HTTP协议的演进史

在万维网诞生之时，万维网仅仅是一群交换超文本文件的计算机。在计算机之间交换文件是一个简单的程序，包括请求和响应。在此基础上设计了一个简单的基于文本的协议。HTTP（超文本传输协议）应运而生。后来，它被起草成了一个标准化的IETF协议，定义在RFC 1945中，也被称为HTTP/1.0。

多年来，HTTP从HTTP/1.0发展到HTTP/1.1，再到HTTP/2。在每一次迭代中，协议都增加了新的功能，以处理大量的需求，如应用层需求、安全考虑、会话处理和媒体类型等。要深入了解HTTP/2及其演进史，可详读《从HTTP/0.9到HTTP/2：一文读懂HTTP协议的历史演变和设计思路》。

尽管经历了几次修订，但HTTP的底层传输机制基本没有变化。但是，随着互联网流量的激增，在移动电话的推动下，HTTP的传输机制在保证网页浏览体验的流畅性方面变得问题重重。

HTTP/3是为了处理HTTP/2.0的传输相关问题而生的，可以在各种设备上更快地访问Web。它基于一个新的传输层协议，称为QUIC（Quick UDP Internet Protocol），在UDP之上工作。这一选择与之前版本的HTTP截然不同，之前版本都是基于TCP。TCP是一个比UDP更可靠的协议，那么为什么要在UDP之上重新设计HTTP的传输层呢？



让我们来看看在TCP上运行HTTP的局限性，并深入了解一下基于QUIC协议的HTTP/3的设计思想。

4、什么是HTTP/3

当IETF正式标准化HTTP/2时，Google正在独立构建一个新的传输协议，名为gQUIC。它后来成为新互联网草案，并被命名为QUIC。gQUIC最初的实验证明，在网络条件较差的情况下，gQUIC在增强网页浏览体验方面的效果非常好。因此，gQUIC的发展势头越来越好，IETF的大多数成员赞成建立一个在QUIC上运行的HTTP新规范。这个新的倡议被称为HTTP/3，以区别于当前的HTTP/2标准。



从语法和语义上看，HTTP/3与HTTP/2相似。HTTP/3遵循相同的请求和响应消息交换顺序，其数据格式包含方法、标题、状态码和body。然而，HTTP/3的显著的偏差在于协议层在UDP之上的堆叠顺序。



有关QUIC的更多资料，可以看看《网络编程懒人入门(十)：一泡尿的时间，快速读懂QUIC协议》、《技术扫盲：新一代基于UDP的低延时网络传输层协议——QUIC详解》。

5、HTTP/3 是如何工作的？

HTTP/3功能的核心是围绕着底层的QUIC协议来实现的。在讨论QUIC和UDP之前，我们有必要先列出TCP的某些限制，这也是导致QUIC发展的原因。

5.1TCP可能会间歇性地挂起数据传输

如果一个序列号较低的数据段还没有接收到，即使其他序列号较高的段已经接收到，TCP的接收机滑动窗口也不会继续处理。这将导致TCP流瞬间挂起，在更糟糕的情况下，即使所有的段中有一个没有收到，也会导致关闭连接。这个问题被称为TCP流的行头阻塞（HoL）。

5.2TCP不支持流级复用

虽然TCP确实允许在应用层之间建立多个逻辑连接，但它不允许在一个TCP流中复用数据包。使用HTTP/2时，浏览器只能与服务器打开一个TCP连接，并使用同一个连接来请求多个对象，如CSS、JavaScript等文件。在接收这些对象的同时，TCP会将所有对象序列化在同一个流中。因此，它不知道TCP段的对象级分区。

5.3TCP会产生冗余通信

TCP连接握手会有冗余的消息交换序列，即使是与已知主机建立的连接也是如此。



QUIC协议在以下设计选择的基础上，通过引入一些底层传输机制的改变，解决了这些问题。

1）选择UDP作为底层传输层协议：在TCP之上建立新的传输机制，将继承TCP的上述所有缺点。因此，UDP是一个明智的选择。此外，QUIC是在用户层构建的，所以不需要每次协议升级时进行内核修改。

2）流复用和流控：QUIC引入了连接上的多路流复用的概念。QUIC通过设计实现了单独的、针对每个流的流控，解决了整个连接的行头阻塞问题。



3）灵活的拥塞控制机制：TCP的拥塞控制机制是刚性的。该协议每次检测到拥塞时，都会将拥塞窗口大小减少一半。相比之下，QUIC的拥塞控制设计得更加灵活，可以更有效地利用可用的网络带宽，从而获得更好的吞吐量。

4）更好的错误处理能力：QUIC使用增强的丢失恢复机制和转发纠错功能，以更好地处理错误数据包。该功能对于那些只能通过缓慢的无线网络访问互联网的用户来说是一个福音，因为这些网络用户在传输过程中经常出现高错误率。

5）更快的握手：QUIC使用相同的TLS模块进行安全连接。然而，与TCP不同的是，QUIC的握手机制经过优化，避免了每次两个已知的对等者之间建立通信时的冗余协议交换。



通过在QUIC之上构建基于HTTP/3的应用层，您可以获得增强型传输机制的所有优势，同时保留HTTP/2的语法和语义。但是，你也必须注意到，HTTP/2不能直接与QUIC集成，因为从应用到传输的底层帧映射是不兼容的。因此，IETF的HTTP工作组建议将HTTP/3作为新的HTTP版本，并根据QUIC协议的帧格式要求修改了帧映射。

除此之外，HTTP/3还使用了一种新的HTTP头压缩机制，称为QPACK，是对HTTP/2中使用的HPACK的增强。在QPACK下，HTTP头可以在不同的QUIC流中不按顺序到达。与HTTP/2中的TCP确保数据包的按顺序传递不同，QUIC流是不按顺序传递的，在不同的流中可能包含不同的HTTP头。因此，QPACK使用查找表机制对报头进行编码和解码。

6、为什么HTTP/3很重要？

TCP已经有40多年的历史了。它在1981年通过RFC 793从而标准化。多年来，它经历了多次更新，是一个非常强大的传输协议，可以支持互联网流量的增长。然而，由于设计上的原因，TCP从来就不适合处理有损无线环境中的数据传输。在互联网的早期，有线网络将网络中的每一台计算机连接起来。

现在，随着智能手机和便携式设备的数量超过台式机和笔记本电脑的数量，超过50%的互联网流量已经通过无线传输。这种趋势给整体的网络浏览体验带来了问题，其中最重要的是在无线覆盖率不足的情况下，TCP中的行头阻塞（关于TCP在移动网络下的不足，请阅读《5G时代已经到来，TCP/IP老矣，尚能饭否？》）。

Google的一些初步实验证明，QUIC作为Google部分热门服务的底层传输协议，极大地提高了速度和用户体验。部署QUIC作为YouTube视频的底层传输协议，导致YouTube视频流的缓冲率下降了30%，这直接影响了用户的视频观看体验。在显示谷歌搜索结果时，也有类似的改善。

网络条件较差的情况下提升非常明显，这促使谷歌更加积极地完善该协议，并最终向IETF提出标准化。

由于这些早期的试验所带来的所有改进，QUIC已经成为带领万维网走向未来的重要因素。在QUIC的支持下，HTTP从HTTP/2到HTTP/3的改头换面，朝着这个方向合理地迈出了一步。

7、HTTP/3的最佳用例

HTTP/3将改善我们上网的体验，特别是在仍无法使用高速无线网络的地区。尽管HTTP/2已经解决了一部分问题，然而HTTP/3更进一步。

7.1物联网(IoT)

HTTP可能不是物联网的首选协议，但在某些情况下，基于HTTP的通信非常适合特定的应用。HTTP/3可以解决从传感器收集数据的移动电话的无线连接损耗问题。这个问题同样适用于安装在车辆或可移动资产上的独立IoT设备。通过HTTP来访问这些设备，可以更加可靠。

7.2大数据

全球各地的企业都在觉醒，意识到从多个部门收集数据的潜力，并将其整合成更大的信息共享API，供内部和外部受众共享。这些API也为数据的货币化铺平了道路，通过托管这些数据作为流API服务可以实现数据的货币化。随着时间的推移，这些服务会吐出海量的数据。通过HTTP/3托管的流API将使它们比HTTP/2更健壮、更有弹性。

7.3Web VR

随着浏览器能力的提升，内容格局正在快速变化。其中一个领域就是基于网络的VR。虽然还处于起步阶段，但有很多的用例可以让VR在加强协作方面发挥关键作用。网络在促进VR互动方面占据了核心位置。VR应用需要更多的带宽来渲染虚拟场景中的复杂细节，因此迁移到HTTP/3会大有收获。

8、HTTP/3的局限性

过渡到HTTP/3不仅涉及到应用层的变化，还涉及到底层传输层的变化。因此，与它的前身HTTP/2相比，HTTP/3的采用更具挑战性，因为后者只需要改变应用层。传输层承受着网络中的大量中间层审查。这些中间层，如防火墙、代理、NAT设备等会进行大量的深度数据包检查，以满足其功能需求。因此，新的传输机制的引入对IT基础设施和运维团队来说有一些影响。

然而，HTTP/3被广泛采用的另一个问题是，它是基于QUIC的，在UDP上运行。大多数的Web流量，以及IETF定义的知名服务都是在TCP之上运行的。这也是为什么长时间运行HTTP/3的UDP会话会被防火墙的默认数据包过滤策略所影响的原因。

随着IETF正在进行的标准化工作，这些问题最终都会得到解决。此外，考虑到Google在早期QUIC实验所显示的积极结果，人们对HTTP/3的支持是压倒性的，这将最终迫使中间层厂商标准化。

针对受限的IoT设备，HTTP/3由于过于繁琐从而无法采用。许多IoT应用部署的设备的外形尺寸非常小。因此，它们的RAM和CPU功率都是有限的。为了使设备在电池功率、低比特率和有损连接等限制条件下高效运行，必须执行此要求。HTTP/3在现有的UDP之上，以QUIC的形式在传输层处理，增加了HTTP/3在整个协议栈中的占用空间。这使得HTTP/3较为笨重，不适合那些IoT设备。但这种情况很少出现，而且存在专门的协议，这就避免了直接在此类设备上支持HTTP的需要。此外，还有以物联网为核心的协议，如MQTT。

9、开始使用HTTP/3

IETF的HTTP工作组正致力于在2020年后期发布HTTP/3。因此它还没有被NGINX和Apache等主流web服务器正式支持。不过，有几个lib可以用来实验这个新协议，也提供了非官方的补丁。

以下是支持HTTP/3和QUIC传输lib的列表。请注意，这些实现都是基于互联网标准草案某一个版本，而这个版本很可能会被更高的版本所取代，最终的标准会在RFC中发布。

1）Quiche ：
Quiche提供了通过QUIC协议发送和接收数据包的底层编程接口。它还支持HTTP/3模块，通过其QUIC协议实现发送HTTP数据包。除此之外，它还为NGINX服务器提供了一个非官方的补丁，可以安装和托管一个能够运行HTTP/3的Web服务器。除此以外，还提供了额外的程序来支持Android和iOS移动应用上使用HTTP/3。

2）Aioquic：
Aioquic是QUIC的python实现。它还内置HTTP/3的测试服务器和客户端库。Aioquic建立在asyncio模块之上，asyncio模块是Python的标准异步I/O框架。

3）Neqo：
Neqo 是 Mozilla 使用 Rust 实现 QUIC 和 HTTP/3。

如果你想尝试QUIC，请查看这个由QUIC工作组维护的QUIC协议的开源实现链接：https://github.com/quicwg/base-drafts/wiki/Implementations

（本文英文原文链接：点此进入、中文译文链接：点此进入）

附录：更多有关HTTP协议的文章

《网络编程懒人入门(七)：深入浅出，全面理解HTTP协议》
《技术扫盲：新一代基于UDP的低延时网络传输层协议——QUIC详解》
《让互联网更快：新一代QUIC协议在腾讯的技术实践分享》
《从HTTP/0.9到HTTP/2：一文读懂HTTP协议的历史演变和设计思路》
《脑残式网络编程入门(三)：HTTP协议必知必会的一些知识》
《脑残式网络编程入门(四)：快速理解HTTP/2的服务器推送(Server Push)》
《Comet技术详解：基于HTTP长连接的Web端实时通信技术》
《WebSocket详解（四）：刨根问底HTTP与WebSocket的关系(上篇)》
《WebSocket详解（五）：刨根问底HTTP与WebSocket的关系(下篇)》
《快速理解高性能HTTP服务端的负载均衡技术原理》
《一分钟理解 HTTPS 到底解决了什么问题》
《一篇读懂HTTPS：加密原理、安全逻辑、数字证书等》
《即时通讯安全篇（八）：你知道，HTTPS用的是对称加密还是非对称加密？》
《IM开发基础知识补课(四)：正确理解HTTP短连接中的Cookie、Session和Token》
《即时通讯安全篇（七）：如果这样来理解HTTPS原理，一篇就够了》
《一分钟理解 HTTPS 到底解决了什么问题》
《一篇读懂HTTPS：加密原理、安全逻辑、数字证书等》
《小白必读：闲话HTTP短连接中的Session和Token》
《IM开发基础知识补课：正确理解前置HTTP SSO单点登录接口的原理》
《基于APNs最新HTTP/2接口实现iOS的高性能消息推送(服务端篇)》
《全面了解移动端DNS域名劫持等杂症：原理、根源、HttpDNS解决方案等》
《美图App的移动端DNS优化实践：HTTPS请求耗时减小近半》
《HTTPS时代已来，打算更新你的HTTP服务了吗？》
《移动端网络优化之HTTP请求的DNS优化》

长见识了~

感谢，非常好

《网络编程懒人入门(十五)：外行也能读懂的网络硬件设备功能原理速成》的跳转链接错误

引用：FateNight 发表于 2023-10-17 10:29
《网络编程懒人入门(十五)：外行也能读懂的网络硬件设备功能原理速成》的跳转链接错误

已修订，感谢提醒

很好的文章