Thrift使用指南

    xiaoxiao2021-03-26  30

    转载自:董的博客 http://dongxicheng.org/search-engine/thrift-guide/

    1. 内容概要

    本文档比较全面的介绍了thrift语法,代码生成结构和应用经验。本文主要讲述的对象是thrift文件,并未涉及其client和server的编写方法。

    2. 语法参考

    2.1 Types

    Thrift类型系统包括预定义基本类型,用户自定义结构体,容器类型,异常和服务定义

    (1) 基本类型

    1 2 3 4 5 6 7 8 9 10 11 12 13

    bool:布尔类型(trueor value),占一个字节   byte:有符号字节   i16:16位有符号整型   i32:32位有符号整型   i64:64位有符号整型   double:64位浮点数   string:未知编码或者二进制的字符串

    注意,thrift不支持无符号整型,因为很多目标语言不存在无符号整型(如java)。

    (2) 容器类型

    Thrift容器与类型密切相关,它与当前流行编程语言提供的容器类型相对应,采用java泛型风格表示的。Thrift提供了3种容器类型:

    List<t1>:一系列t1类型的元素组成的有序表,元素可以重复

    Set<t1>:一系列t1类型的元素组成的无序表,元素唯一

    Map<t1,t2>:key/value对(key的类型是t1且key唯一,value类型是t2)。

    容器中的元素类型可以是除了service以外的任何合法thrift类型(包括结构体和异常)。

    (3)  结构体和异常

    Thrift结构体在概念上同C语言结构体类型—— 一种将相关属性聚集(封装)在一起的方式。在面向对象语言中,thrift结构体被转换成类。

    异常在语法和功能上类似于结构体,只不过异常使用关键字exception而不是struct关键字声明。但它在语义上不同于结构体——当定义一个RPC服务时,开发者可能需要声明一个远程方法抛出一个异常。

    结构体和异常的声明将在下一节介绍。

    (4)  服务

    服务的定义方法在语法上等同于面向对象语言中定义接口。Thrift编译器会产生实现这些接口的client和server桩。具体参见下一节。

    (5)  类型定义

    Thrift支持C/C++风格的typedef:

    1 2 3

    typedefi32 MyInteger   \\a   typedefTweet ReTweet  \\b

    说明:

    a.  末尾没有逗号

    b.   struct可以使用typedef

    2.2   枚举类型

    可以像C/C++那样定义枚举类型,如:

    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27

    enumTweetType {   TWEET,      //a   RETWEET = 2, //b   DM = 0xa,  //c   REPLY   }       //d   structTweet {   1: required i32 userId;   2: required string userName;   3: required string text;   4: optional Location loc;   5: optional TweetType tweetType = TweetType.TWEET // e   16: optional string language = "english"   }

    说明:

    a.  编译器默认从0开始赋值

    b.  可以赋予某个常量某个整数

    c.  允许常量是十六进制整数

    d.  末尾没有逗号

    e.  给常量赋缺省值时,使用常量的全称

    注意,不同于protocol buffer,thrift不支持枚举类嵌套,枚举常量必须是32位的正整数

    2.3   注释

    Thrfit支持shell注释风格,C/C++语言中单行或者多行注释风格

    1 2 3 4 5 6 7 8 9 10 11

    # This is a valid comment.   /*   * This is a multi-line comment.   * Just like in C.   */   // C++/Java style single-line comments work just as well.

    2.4   命名空间

    Thrift中的命名空间同C++中的namespace和java中的package类似,它们均提供了一种组织(隔离)代码的方式。因为每种语言均有自己的命名空间定义方式(如python中有module),thrift允许开发者针对特定语言定义namespace:

    1 2 3

    namespacecpp com.example.project  // a   namespacejava com.example.project // b

    说明:

    a.  转化成namespace com { namespace example { namespace project {

    b.  转换成package com.example.project

    2.5   文件包含

    Thrift允许thrift文件包含,用户需要使用thrift文件名作为前缀访问被包含的对象,如:

    1 2 3 4 5 6 7 8 9

    include"tweet.thrift"          // a   ...   structTweetSearchResult {   1: list<tweet.Tweet> tweets; // b   }

    说明:

    a.  thrift文件名要用双引号包含,末尾没有逗号或者分号

    b.  注意tweet前缀

    2.6   常量

    Thrift允许用户定义常量,复杂的类型和结构体可使用JSON形式表示。

    1 2 3

    consti32 INT_CONST = 1234;    // a   constmap<string,string> MAP_CONST = {"hello":"world","goodnight":"moon"}

    说明:

    a.  分号是可选的,可有可无;支持十六进制赋值。

    2.7   定义结构体

    结构体由一系列域组成,每个域有唯一整数标识符,类型,名字和可选的缺省参数组成。如:

    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

    structTweet {   1: required i32 userId;                  // a   2: required string userName;             // b   3: required string text;   4: optional Location loc;                // c   16: optional string language = "english"// d   }   structLocation {                            // e   1: required doublelatitude;   2: required doublelongitude;   }

    说明:

    a.  每个域有一个唯一的,正整数标识符

    b.  每个域可以标识为required或者optional(也可以不注明)

    c.  结构体可以包含其他结构体

    d.  域可以有缺省值

    e.  一个thrift中可定义多个结构体,并存在引用关系

    规范的struct定义中的每个域均会使用required或者optional关键字进行标识。如果required标识的域没有赋值,thrift将给予提示。如果optional标识的域没有赋值,该域将不会被序列化传输。如果某个optional标识域有缺省值而用户没有重新赋值,则该域的值一直为缺省值。

    与service不同,结构体不支持继承,即,一个结构体不能继承另一个结构体。

    2.8   定义服务

    在流行的序列化/反序列化框架(如protocol buffer)中,thrift是少有的提供多语言间RPC服务的框架。

    Thrift编译器会根据选择的目标语言为server产生服务接口代码,为client产生桩代码。

    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

    //“Twitter”与“{”之间需要有空格!!! service Twitter {   // 方法定义方式类似于C语言中的方式,它有一个返回值,一系列参数和可选的异常   // 列表. 注意,参数列表和异常列表定义方式与结构体中域定义方式一致.   voidping(),                                    // a   boolpostTweet(1:Tweet tweet);                  // b   TweetSearchResult searchTweets(1:string query); // c   // ”oneway”标识符表示client发出请求后不必等待回复(非阻塞)直接进行下面的操作,   // ”oneway”方法的返回值必须是void   onewayvoidzip()                               // d   }

    说明:

    a. 函数定义可以使用逗号或者分号标识结束

    b. 参数可以是基本类型或者结构体,参数是只读的(const),不可以作为返回值!!!

    c. 返回值可以是基本类型或者结构体

    d. 返回值可以是void

    注意,函数中参数列表的定义方式与struct完全一样

    Service支持继承,一个service可使用extends关键字继承另一个service

    3.  产生代码

    本节介绍thrift产生各种目标语言代码的方式。本节从几个基本概念开始,逐步引导开发者了解产生的代码是怎么样组织的,进而帮助开发者更快地明白thrift的使用方法。

    概念

    Thrift的网络栈如下所示:

    3.1   Transport

    Transport层提供了一个简单的网络读写抽象层。这使得thrift底层的transport从系统其它部分(如:序列化/反序列化)解耦。以下是一些Transport接口提供的方法:

    1 2 3 4 5 6 7 8 9

    open   close   read   write   flush

    除了以上几个接口,Thrift使用ServerTransport接口接受或者创建原始transport对象。正如名字暗示的那样,ServerTransport用在server端,为到来的连接创建Transport对象。

    1 2 3 4 5 6 7

    open   listen   accept   close

    3.2   Protocol

    Protocol抽象层定义了一种将内存中数据结构映射成可传输格式的机制。换句话说,Protocol定义了datatype怎样使用底层的Transport对自己进行编解码。因此,Protocol的实现要给出编码机制并负责对数据进行序列化。

    Protocol接口的定义如下:

    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77

    writeMessageBegin(name, type, seq)   writeMessageEnd()   writeStructBegin(name)   writeStructEnd()   writeFieldBegin(name, type, id)   writeFieldEnd()   writeFieldStop()   writeMapBegin(ktype, vtype, size)   writeMapEnd()   writeListBegin(etype, size)   writeListEnd()   writeSetBegin(etype, size)   writeSetEnd()   writeBool(bool)   writeByte(byte)   writeI16(i16)   writeI32(i32)   writeI64(i64)   writeDouble(double)   writeString(string)   name, type, seq = readMessageBegin()   readMessageEnd()   name = readStructBegin()   readStructEnd()   name, type, id = readFieldBegin()   readFieldEnd()   k, v, size = readMapBegin()   readMapEnd()   etype, size = readListBegin()   readListEnd()   etype, size = readSetBegin()   readSetEnd()   bool= readBool()   byte = readByte()   i16 = readI16()   i32 = readI32()   i64 = readI64()   double= readDouble()   string = readString()

    下面是一些对大部分thrift支持的语言均可用的protocol:

    (1)     binary:简单的二进制编码

    (2)     Compact

    (3)     Json

    3.3   Processor

    Processor封装了从输入数据流中读数据和向数据数据流中写数据的操作。读写数据流用Protocol对象表示。Processor的结构体非常简单:

    1 2 3 4 5

    interface TProcessor {   boolprocess(TProtocol in, TProtocol out) throws TException   }

    与服务相关的processor实现由编译器产生。Processor主要工作流程如下:从连接中读取数据(使用输入protocol),将处理授权给handler(由用户实现),最后将结果写到连接上(使用输出protocol)。

    3.4   Server

    Server将以上所有特性集成在一起:

    (1)  创建一个transport对象

    (2)  为transport对象创建输入输出protocol

    (3)  基于输入输出protocol创建processor

    (4)  等待连接请求并将之交给processor处理

    3.5   应用举例

    下面,我们讨论thrift文件产生的特定语言代码。下面给出thrift文件描述:

    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61

    namespacecpp thrift.example   namespacejava thrift.example   enumTweetType {   TWEET,   RETWEET = 2,   DM = 0xa,   REPLY   }   structLocation {   1: required doublelatitude;   2: required doublelongitude;   }   structTweet {   1: required i32 userId;   2: required string userName;   3: required string text;   4: optional Location loc;   5: optional TweetType tweetType = TweetType.TWEET;   16: optional string language = "english";   }   typedeflist<Tweet> TweetList   structTweetSearchResult {   1: TweetList tweets;   }   consti32 MAX_RESULTS = 100;   service Twitter {   voidping(),   boolpostTweet(1:Tweet tweet);   TweetSearchResult searchTweets(1:string query);   onewayvoidzip()   }

    (1) Java语言

    (a)  产生的文件

    一个单独的文件(Constants.java)包含所有的常量定义。

    每个结构体,枚举或者服务各占一个文件

    $ tree gen-java

    `– thrift

    `– example

    |– Constants.java

    |– Location.java

    |– Tweet.java

    |– TweetSearchResult.java

    |– TweetType.java

    `– Twitter.java

    (b)  类型

    thrift将各种基本类型和容器类型映射成java类型:

    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 bool : boolean   byte: byte   i16: short   i32: int   i64: long   double : double   string: String   list<t1>: List<t1>   set<t1>: Set<t1>   map<t1,t2>: Map<t1, t2>

    (c)  typedef

    Java不支持typedef,它只使用原始类型,如,在上面的例子中,产生的代码中,TweetSearchResult会被还原成list<Tweet> tweets

    (d)  Enum

    Thrift直接将枚举类型映射成java的枚举类型。用户可以使用geValue方法获取枚举常量的值。此外,编译器会产生一个findByValue方法获取枚举对应的数值。

    (e)  常量

    Thrift把所有的常量放在一个叫Constants的public类中,每个常量修饰符是public static final。

    (2)  C++语言

    (a)  产生的文件

    所有变量均存放在一个.cpp/.h文件对中

    所有的类型定义(枚举或者结构体)存放到另一个.cpp/.h文件对中

    每一个service有自己的.cpp/.h文件

    $ tree gen-cpp

    |– example_constants.cpp

    |– example_constants.h

    |– example_types.cpp

    |– example_types.h

    |– Twitter.cpp

    |– Twitter.h

    `– Twitter_server.skeleton.cpp

    其他语言

    Python,Ruby,javascript等

    4.  实践经验

    thrift文件内容可能会随着时间变化的。如果已经存在的消息类型不再符合设计要求,比如,新的设计要在message格式中添加一个额外字段,但你仍想使用以前的thrift文件产生的处理代码。如果想要达到这个目的,只需:

    (1)  不要修改已存在域的整数编号

    (2)  新添加的域必须是optional的,以便格式兼容。对于一些语言,如果要为optional的字段赋值,需要特殊处理,比如对于C++语言,要为

    1 2 3 4 5 6 7 8 9

    structExample{   1 : i32 id,   2 : string name,   3 : optional age,   }

    中的optional字段age赋值,需要将它的__isset值设为true,这样才能序列化并传输或者存储(不然optional字段被认为不存在,不会被传输或者存储),

    如:

    1 2 3 4 5 6 7 8 9

    Example example;   ......   example.age=10,   example.__isset.age = true;//__isset是每个thrift对象的自带的public成员,来指定optional字段是否启用并赋值。   ......

    (3)  非required域可以删除,前提是它的整数编号不会被其他域使用。对于删除的字段,名字前面可添加“OBSOLETE_”以防止其他字段使用它的整数编号。

    (4) thrift文件应该是unix格式的(windows下的换行符与unix不同,可能会导致你的程序编译不过),如果是在window下编写的,可使用dos2unix转化为unix格式。

    (5)  貌似当前的thrift版本(0.6.1)不支持常量表达式的定义(如 const i32 DAY = 24 * 60 * 60),这可能是考虑到不同语言,运算符不尽相同。

    转载请注明原文地址: https://ju.6miu.com/read-663410.html

    最新回复(0)