即时通讯安全篇（八）：如果这样来理解HTTPS，一篇就够了

1、前言

可能有初学者会问，即时通讯应用的通信安全，不就是对Socket长连接进行SSL/TLS加密这些知识吗，干吗要理解HTTPS协议呢。

这其实是个误解：当今主流的移动端IM数据通信，总结下来无外乎就是长连接+短连接的方式，长连接就是众所周之的TCP、UDP、WebSocket（WebSocket的本质还是TCP），而短连接就是HTTP/HTTPS了。即时通讯IM应用中，短连接的安全跟长连接相比，同样很重要。市面上的主流短连接通信方式，都已逐步从HTTP过渡到HTTPS了（iOS上的应用就更彻底了，苹果直接强制要求使用HTTPS协议，否则不允许上架APP Store，详见《苹果即将强制实施 ATS，你的APP准备好切换到HTTPS了吗？》。不过，鉴于多方面原因，苹果实际上推迟了ATS的强制执行，有兴趣可以到苹果官方了解）。

题外话：关于短连接、长连接的定义，微信是一个特例，微信在网络通信这一层做的比较彻底和极端，几乎再造了一套针对移动端IM的网络层框架（详见：《如约而至：微信自用的移动端IM网络层跨平台组件库Mars已正式开源》），所以针对微信来说短连接可能并不能就是HTTP/HTTPS了。

总之，无论是即时通讯IM还是其它应用，在移动网络日益发达的今天，安全显的尤为重要，HTTPS已经越来越普及，尽快拥抱它才是符合技术潮流的。

本文将尝试用通俗易懂的语言，一步步还原HTTPS的设计过程，以便您能轻松理解为什么HTTPS最终会是这副模样。但鉴于HTTPS的复杂性，本文的文字主要是为了方便您的理解，而并不代表完全遵从HTTPS的真实设计过程。在阅读本文时，你可以尝试放下已有的对HTTPS的理解，这样更利于您“理解”这个过程和技术原理。

2、关于作者

翟志军，个人博客地址：https://showme.codes/，Github：https://github.com/zacker330。感谢作者的原创分享。

3、相关文章

要理解HTTPS，须对HTTP协议有所了解，以下文章可能是您需要的：

• 《网络编程懒人入门(七)：深入浅出，全面理解HTTP协议》
• 《从HTTP/0.9到HTTP/2：一文读懂HTTP协议的历史演变和设计思路》
• 《脑残式网络编程入门(三)：HTTP协议必知必会的一些知识》
• 《现代移动端网络短连接的优化手段总结：请求速度、弱网适应、安全保障》
• 《IM开发基础知识补课(四)：正确理解HTTP短连接中的Cookie、Session和Token》
  

本文是IM通讯安全知识系列文章中的第7篇，此系列总目录如下：

• 《即时通讯安全篇（一）：正确地理解和使用Android端加密算法》
• 《即时通讯安全篇（二）：探讨组合加密算法在IM中的应用》
• 《即时通讯安全篇（三）：常用加解密算法与通讯安全讲解》
• 《即时通讯安全篇（四）：实例分析Android中密钥硬编码的风险》
• 《即时通讯安全篇（五）：对称加密技术在Android平台上的应用实践》
• 《即时通讯安全篇（六）：非对称加密技术的原理与应用实践》
• 《即时通讯安全篇（七）：用JWT技术解决IM系统Socket长连接的身份认证痛点》
• 《即时通讯安全篇（八）：如果这样来理解HTTPS原理，一篇就够了》（本文）
• 《即时通讯安全篇（九）：你知道，HTTPS用的是对称加密还是非对称加密？》
• 《即时通讯安全篇（十）：为什么要用HTTPS？深入浅出，探密短连接的安全性》
• 《即时通讯安全篇（十一）：IM聊天系统安全手段之通信连接层加密技术》
• 《即时通讯安全篇（十二）：IM聊天系统安全手段之传输内容端到端加密技术》
• 《即时通讯安全篇（十三）：信创必学，一文读懂什么是国密算法》
• 《即时通讯安全篇（十四）：网络端口的安全防护技术实践》
  

4、一个引子

我们先不了聊HTTP/HTTPS，我们先从一个IM聊天软件说起。

假设我们想要实现A能发一个hello消息给B：


因为只是为了方便讲解原理，我们要实现这个IM聊天的通信功能，本文只考虑安全性问题。

那么我们的这个IM聊天功能，安全性上必须要达到：

A发给B的hello消息包，即使被中间人拦截到了，也无法得知消息的内容。

好，带着这个问题，我来继续往下理解基本的通信安全知识。

好，问题域已经定义好了（现实中当然不止这一种定义）。对于解决方案，很容易就想到了对消息进行加密。

题外话，但是只有这一种方法吗？我看未必，说不定在将来会出现一种物质打破当前世界的通信假设，实现真正意义上的保密。

对于A与B这样的简单通信模型，我们很容易做出选择： 对称加密算法


这就是对称加密算法，其中图中的密钥S同时扮演加密和解密的角色。具体细节不是本文范畴。

如上图所示，只要这个密钥S不公开给第三者，同时密钥S足够安全，我们就解决了我们一开始所定问题域了。因为世界上有且只有A与B知道如何加密和解密他们之间的消息。

但是，在WWW环境下，我们的Web服务器的通信模型没有这么简单：


如果服务器端对所有的客户端通信都使用同样的对称加密算法，无异于没有加密。那怎么办呢？即能使用对称加密算法，又不公开密钥？请读者思考21秒钟。^_^

答案是：Web服务器与每个客户端使用不同的对称加密算法：

5、如何确定对称加密算法

慢着，另一个问题来了，我们的服务器端怎么告诉客户端该使用哪种对称加密算法？

当然是通过协商：


但是，你协商的过程是没有加密的，还是会被中间人拦截。那我们再对这个协商过程进行对称加密就好了，那你对协商过程加密的加密还是没有加密，怎么办？再加密不就好了……好吧，进行鸡生蛋蛋生鸡的问题了。

6、如何对协商过程进行加密

新问题来了，如何对协商过程进行加密？密码学领域中，有一种称为“非对称加密”的加密算法，特点是私钥加密后的密文，只要是公钥，都可以解密，但是公钥加密后的密文，只有私钥可以解密。私钥只有一个人有，而公钥可以发给所有的人。



虽然服务器端向A、B……的方向还是不安全的，但是至少A、B向服务器端方向是安全的。

好了，如何协商加密算法的问题，我们解决了：使用非对称加密算法进行对称加密算法协商过程。

这下，你明白为什么HTTPS同时需要对称加密算法和非对称加密算法了吧？

7、协商什么加密算法

要达到Web服务器针对每个客户端使用不同的对称加密算法，同时，我们也不能让第三者知道这个对称加密算法是什么，怎么办？

使用随机数，就是使用随机数来生成对称加密算法。这样就可以做到服务器和客户端每次交互都是新的加密算法、只有在交互的那一该才确定加密算法。

这下，你明白为什么HTTPS协议握手阶段会有这么多的随机数了吧。

8、如何得到公钥？

细心的人可能已经注意到了如果使用非对称加密算法，我们的客户端A，B需要一开始就持有公钥，要不没法开展加密行为啊。

这下，我们又遇到新问题了，如何让A、B客户端安全地得到公钥？

我能想到的方案只有这些：

• 方案1：服务器端将公钥发送给每一个客户端；
• 方案2：服务器端将公钥放到一个远程服务器，客户端可以请求得到。
  

我们选择方案1，因为方案2又多了一次请求，还要另外处理公钥的放置问题。

9、公钥被调包了怎么办？又是一个鸡生蛋蛋生鸡问题？

但是方案1有个问题：如果服务器端发送公钥给客户端时，被中间人调包了，怎么办？

我画了张图方便理解：


显然，让每个客户端的每个浏览器默认保存所有网站的公钥是不现实的。

10、使用第三方机构的公钥解决鸡生蛋蛋生鸡问题

公钥被调包的问题出现，是因为我们的客户端无法分辨返回公钥的人到底是中间人，还是真的服务器。这其实就是密码学中提的身份验证问题。

如果让你来解决，你怎么解决？如果你了解过HTTPS，会知道使用数字证书来解决。但是你想过证书的本质是什么么？请放下你对HTTPS已有的知识，自己尝试找到解决方案。

我是这样解决的。既然服务器需要将公钥传给客户端，这个过程本身是不安全，那么我们为什么不对这个过程本身再加密一次？可是，你是使用对称加密，还是非对称加密？这下好了，我感觉又进了鸡生蛋蛋生鸡问题了。

问题的难点是如果我们选择直接将公钥传递给客户端的方案，我们始终无法解决公钥传递被中间人调包的问题。

所以，我们不能直接将服务器的公钥传递给客户端，而是第三方机构使用它的私钥对我们的公钥进行加密后，再传给客户端。客户端再使用第三方机构的公钥进行解密。

下图就是我们设计的第一版“数字证书”，证书中只有服务器交给第三方机构的公钥，而且这个公钥被第三方机构的私钥加密了：


如果能解密，就说明这个公钥没有被中间人调包。因为如果中间人使用自己的私钥加密后的东西传给客户端，客户端是无法使用第三方的公钥进行解密的。

原理图如下：


话到此，我以为解决问题了。但是现实中HTTPS，还有一个数字签名的概念，我没法理解它的设计理由。

原来，我漏掉了一个场景：

第三方机构不可能只给你一家公司制作证书，它也可能会给中间人这样有坏心思的公司发放证书。这样的，中间人就有机会对你的证书进行调包，客户端在这种情况下是无法分辨出是接收的是你的证书，还是中间人的。因为不论中间人，还是你的证书，都能使用第三方机构的公钥进行解密。

像下面这样。。。

第三方机构向多家公司颁发证书的情况：


客户端能解密同一家第三机构颁发的所有证书：


最终导致其它持有同一家第三方机构证书的中间人可以进行调包：

11、数字签名，解决同一机构颁发的不同证书被篡改问题

要解决这个问题，我们首先要想清楚一个问题，辨别同一机构下不同证书的这个职责，我们应该放在哪？

只能放到客户端了。意思是，客户端在拿到证书后，自己就有能力分辨证书是否被篡改了。如何才能有这个能力呢？

我们从现实中找灵感。比如你是HR，你手上拿到候选人的学历证书，证书上写了持证人，颁发机构，颁发时间等等，同时证书上，还写有一个最重要的：证书编号！我们怎么鉴别这张证书是的真伪呢？只要拿着这个证书编号上相关机构去查，如果证书上的持证人与现实的这个候选人一致，同时证书编号也能对应上，那么就说明这个证书是真实的。

我们的客户端能不能采用这个机制呢？像这样：


可是，这个“第三方机构”到底是在哪呢？是一个远端服务？不可能吧？如果是个远端服务，整个交互都会慢了。所以，这个第三方机构的验证功能只能放在客户端的本地了。

12、客户端本地怎么验证证书呢？

客户端本地怎么验证证书呢？答案是证书本身就已经告诉客户端怎么验证证书的真伪。

也就是证书上写着如何根据证书的内容生成证书编号。客户端拿到证书后根据证书上的方法自己生成一个证书编号，如果生成的证书编号与证书上的证书编号相同，那么说明这个证书是真实的。

同时，为避免证书编号本身又被调包，所以使用第三方的私钥进行加密。

这地方有些抽象，我们来个图帮助理解：


证书的制作如上图所示。证书中的“编号生成方法MD5”就是告诉客户端：你使用MD5对证书的内容求值就可以得到一个证书编号。

当客户端拿到证书后，开始对证书中的内容进行验证，如果客户端计算出来的证书编号与证书中的证书编号相同，则验证通过：


但是第三方机构的公钥怎么跑到了客户端的机器中呢？世界上这么多机器。

其实呢，现实中，浏览器和操作系统都会维护一个权威的第三方机构列表（包括它们的公钥）。因为客户端接收到的证书中会写有颁发机构，客户端就根据这个颁发机构的值在本地找相应的公钥。

题外话：

如果浏览器和操作系统这道防线被破了，就没办法。想想当年自己装过的非常规XP系统，都害怕。

说到这里，想必大家已经知道上文所说的，证书就是HTTPS中数字证书，证书编号就是数字签名，而第三方机构就是指数字证书签发机构（CA）。

13、CA如何颁发数字证书给服务器端的？

当我听到这个问题时，我误以为，我们的SERVER需要发网络请求到CA部门的服务器来拿这个证书。😭 到底是我理解能力问题，还是。。

其实，问题应该是CA如何颁发给我们的网站管理员，而我们的管理员又如何将这个数字证书放到我们的服务器上。

我们如何向CA申请呢？每个CA机构都大同小异，我在网上找了一个：


拿到证书后，我们就可以将证书配置到自己的服务器上了。那么如何配置？这是具体细节了，留给大家google了。

14、也许我们需要整理一下思路

我们通过推算的方式尝试还原HTTPS的设计过程。这样，我们也就明白了为什么HTTPS比HTTP多那么多次的交互，为什么HTTPS的性能会差，以及找到HTTPS的性能优化点。

而上面一大堆工作都是为了让客户端与服务器端安全地协商出一个对称加密算法。这就是HTTPS中的SSL/TLS协议主要干的活。剩下的就是通信时双方使用这个对称加密算法进行加密解密。

以下是一张HTTPS协议的真实交互图（从网上copy的，忘了从哪了，如果侵权麻烦告知）：

15、能不能用一句话总结HTTPS？

答案是不能，因为HTTPS本身实在太复杂。

但是我还是尝试使用一段话来总结HTTPS:

HTTPS要使客户端与服务器端的通信过程得到安全保证，必须使用的对称加密算法，但是协商对称加密算法的过程，需要使用非对称加密算法来保证安全，然而直接使用非对称加密的过程本身也不安全，会有中间人篡改公钥的可能性，所以客户端与服务器不直接使用公钥，而是使用数字证书签发机构颁发的证书来保证非对称加密过程本身的安全。这样通过这些机制协商出一个对称加密算法，就此双方使用该算法进行加密解密。从而解决了客户端与服务器端之间的通信安全问题。

好长的一段话。

16、后记

以上是个人为理解HTTPS而编造出来的自圆其说的看法。顶多只能算是HTTPS的科普文章。如有错误，请指出，万分感谢。

那么，我为什么会觉得以这种方式理解HTTPS会更容易呢？我个人给出的答案是：当你自己为一家人做一次菜时，你就会理解妈妈天天做菜的不易了。

17、参考资料

• 《HTTPS为什么安全 &分析 HTTPS 连接建立全过程》
• 《数字证书的基础知识》
• 《理解 HTTPS》
• 《HTTPS 是如何保证安全的？》
• 《图解SSL/TLS协议》
• 《The First Few Milliseconds of an HTTPS Connection》
• 《SSL/TLS原理详解》
  

附录：更多通信安全方面的文章

《传输层安全协议SSL/TLS的Java平台实现简介和Demo演示》
《理论联系实际：一套典型的IM通信协议设计详解（含安全层设计）》
《微信新一代通信安全解决方案：基于TLS1.3的MMTLS详解》
《来自阿里OpenIM：打造安全可靠即时通讯服务的技术实践分享》
《简述实时音视频聊天中端到端加密（E2EE）的工作原理》
《移动端安全通信的利器——端到端加密（E2EE）技术详解》
《Web端即时通讯安全：跨站点WebSocket劫持漏洞详解(含示例代码)》
《通俗易懂：一篇掌握即时通讯的消息传输安全原理》
《IM开发基础知识补课(四)：正确理解HTTP短连接中的Cookie、Session和Token》
《快速读懂量子通信、量子加密技术》
《即时通讯安全篇（七）：如果这样来理解HTTPS原理，一篇就够了》
《一分钟理解 HTTPS 到底解决了什么问题》
《一篇读懂HTTPS：加密原理、安全逻辑、数字证书等》
>> 更多同类文章 ……

这样子的吗

11、12章节的内容不正确。解决同一机构颁发的不同证书被篡改，用比对数字签名的方法是不行的。因为第三方机构是真实的并且是同一个，用来掉包的证书也是真实的，你自己计算的数字签名（证书编号）肯定和证书上记载的是一致的。

解决这个问题的唯一方案是验证证书的域名是否和要访问的域名一致。

引用：hmtabc 发表于 2019-08-12 18:18
11、12章节的内容不正确。解决同一机构颁发的不同证书被篡改，用比对数字签名的方法是不行的。因为第三方机 ...

有道理

引用：hmtabc 发表于 2019-08-12 18:18
11、12章节的内容不正确。解决同一机构颁发的不同证书被篡改，用比对数字签名的方法是不行的。因为第三方机 ...

我还纠结大半天，中间人的证书也是真的。这样是不行的

我理解11、12步是有意义的：为了验证证书本身的正确性，并且对证书上域名的匹配也不能少。

评论里大家说的很对。

就像我们的毕业证书，证书本身的真假由机构保证。 然而持证人和证书的关系只能靠 HR 来识别，如拿证书的人的照片，和毕业证的照片是否一致； 拿证书的人的身份证号，是否和证书的身份证号一致等等。

引用：inthendsun 发表于 2021-10-02 13:30
评论里大家说的很对。

就像我们的毕业证书，证书本身的真假由机构保证。 然而持证人和证书的关系只能靠  ...

这类比思路。。。 厉害啊