本文由vivo技术团队Li Guanyun分享，为了提升阅读体验，即时通讯网进行了较多修订和重新排版。

1、引言

cover.png (14.86 KB, 下载次数: 1341)

下载附件  保存到相册

2 年前 上传

2、系列文章

• 《IM通讯协议专题学习(一)：Protobuf从入门到精通，一篇就够！》
• 《IM通讯协议专题学习(二)：快速理解Protobuf的背景、原理、使用、优缺点》（* 本文）
• 《IM通讯协议专题学习(三)：由浅入深，从根上理解Protobuf的编解码原理》
• 《IM通讯协议专题学习(四)：从Base64到Protobuf，详解Protobuf的数据编码原理》
• 《IM通讯协议专题学习(五)：Protobuf到底比JSON快几倍？全方位实测！》
• 《IM通讯协议专题学习(六)：手把手教你如何在Android上从零使用Protobuf》
• 《IM通讯协议专题学习(七)：手把手教你如何在NodeJS中从零使用Protobuf》
• 《IM通讯协议专题学习(八)：金蝶随手记团队的Protobuf应用实践(原理篇)》
• 《IM通讯协议专题学习(九)：手把手教你如何在iOS上从零使用Protobuf》
• 《IM通讯协议专题学习(十)：初识 Thrift 序列化协议》
  

3、什么是Protobuf？

cover1-opti.png (10.24 KB, 下载次数: 1380)

下载附件  保存到相册

2 年前 上传

4、为什么是 Protobuf？

4.1技术背景

if (protocolVersion=1) {
    doSomething();
} else if (protocolVersion=2) {
    doOtherThing();
} ...

4.2Protobuf 诞生了

• 1）更容易引入新的字段，并且不需要检查数据的中间服务器可以简单地解析并传递数据（而无需了解所有字段）；
• 2）数据格式更加具有自我描述性，可以用各种语言来处理（比如C++, Java 等各种语言）。
  

• 1）自动生成的序列化和反序列化代码（避免了手动解析的需要。官方提供自动生成代码工具，各个语言平台的基本都有）；
• 2）除了用于数据交换之外，Protobuf也被用作某些持久化数据的便捷自描述格式。
  

Why the name "Protocol Buffers"?

The name originates from the early days of the format, before we had the protocol buffer compiler to generate classes for us. At the time, there was a class called ProtocolBuffer which actually acted as a buffer for an individual method. Users would add tag/value pairs to this buffer individually by calling methods like AddValue(tag, value). The raw bytes were stored in a buffer which could then be written out once the message had been constructed.

Since that time, the "buffers" part of the name has lost its meaning, but it is still the name we use. Today, people usually use the term "protocol message" to refer to a message in an abstract sense, "protocol buffer" to refer to a serialized copy of a message, and "protocol message object" to refer to an in-memory object representing the parsed message.

4.3Protobuf 在谷歌业务中的地位

5、Protobuf 协议的工作原理

1-1.png (8.91 KB, 下载次数: 1364)

下载附件  保存到相册

2 年前 上传

6、Protobuf 协议的消息定义

syntax = "proto3";

package domain;

option java_package = "com.Protobuf.generated.domain";
option java_outer_classname = "CustomerProtos";

message Customers {
    repeated Customer customer = 1;
}

message Customer {
    int32 id = 1;
    string firstName = 2;
    string lastName = 3;

    enum EmailType {
        PRIVATE = 0;
        PROFESSIONAL = 1;
    }

    message EmailAddress {
        string email = 1;
        EmailType type = 2;
    }

    repeated EmailAddress email = 5;
}

• 1）syntax = "proto3"：用于idl语法版本，目前有两个版本proto2和proto3，两个版本语法不兼容，如果不指定，默认语法是proto2（由于proto3比proto2支持的语言更多，语法更简洁，本文使用的是proto3）；
• 2）package domain：此配置用于嵌套生成的类/对象；
• 3）option java_package：生成器还使用此配置来嵌套生成的源（此处的区别在于这仅适用于Java，在使用Java创建代码和使用JavaScript创建代码时，使用了两种配置来使生成器的行为有所不同。也就是说，Java类是在包com.Protobuf.generated.domain下创建的，而JavaScript对象是在包domain下创建的）。
  

7、Protobuf 的代码生成

protoc --java_out=./src/main/java ./src/main/idl/customer.proto

        CustomerProtos.Customer.EmailAddress email = CustomerProtos.Customer.EmailAddress.newBuilder()
                .setType(CustomerProtos.Customer.EmailType.PROFESSIONAL)
                .setEmail("crichardson@email.com").build();

        CustomerProtos.Customer customer = CustomerProtos.Customer.newBuilder()
                .setId(1)
                .setFirstName("Lee")
                .setLastName("Richardson")
                .addEmail(email)
                .build();
        // 序列化
        byte[] binaryInfo = customer.toByteArray();
        System.out.println(bytes_String16(binaryInfo));
        System.out.println(customer.toByteArray().length);
        // 反序列化
        CustomerProtos.Customer anotherCustomer = CustomerProtos.Customer.parseFrom(binaryInfo);
        System.out.println(anotherCustomer.toString());

8、Protobuf 的性能数据

2 (1).png (53.5 KB, 下载次数: 1371)

下载附件  保存到相册

2 年前 上传

3.png (26.46 KB, 下载次数: 1374)

下载附件  保存到相册

2 年前 上传

9、Protobuf 的优点

9.1效率高

{"id":1,"firstName":"Chris","lastName":"Richardson","email":[{"type":"PROFESSIONAL","email":"crichardson@email.com"}]}

7b226964223a312c2266697273744e616d65223a224368726973222c226c6173744e616d65223a2252696368617264736f6e222c22656d61696c223a5b7b2274797065223a2250524f46455353494f4e414c222c22656d61696c223a226372696368617264736f6e40656d61696c2e636f6d227d5d7d

0801120543687269731a0a52696368617264736f6e2a190a156372696368617264736f6e40656d61696c2e636f6d1001

9.2支持跨平台、多语言

9.3扩展性、兼容性好

9.4使用简单

10、Protobuf 的缺点

• 1）不具备自描述能力：跟XML、JSON相比，这两者是自描述的，而ProtoBuf则不是；
• 2）数据可读性非常差：ProtoBuf是二进制协议，如果没有idl文件，就无法理解二进制数据流，对调试非常不友好。
  

11、参考资料