1、不选择java原生nio的原因
(1)nio的类库和api繁杂 (2)需要具备其他的额外的技能做铺垫,例如熟悉java多线程编程。 (3)可靠性能力补齐的工作量和难度都非常大,例如客户面临断连重连、网络闪断、半包读写、失败缓存、网络拥塞和异常码流的处理等问题。 (4)jdk nio的bug,例如臭名昭著的epoll bug,它会导致Selector空轮询,最终导致cpu100%,虽然官方声称修复了该问题,但是直到jdk1.7版本,该问题还存在,只是bug几率降低了而已、2、为什么选择netty (1)api使用简单,开发门槛低; (2)功能强大,预置了多种编解码功能,支持多种主流协议; (3)定制能力强,可以通过ChannelHandler对通信框架进行灵活的扩展; (4)性能高,通过与其他业界主流的nio框架对比,netty的综合性能最优; (5)成熟,稳定,netty修复了已经发现的所有jdk nio bug (6)社区活跃,版本迭代周期短,经历大规模商业应用的考验等;netty的简单示例,maven项目:http://yunpan.cn/cwGN7HydZ6tRs 访问密码 0624
3、TCP粘包和拆包问题 (1)TCP是个“流”协议,所谓流,就是没有界限的一串数据,大家可以想想河里的流水,是连成一片的,其间并没有分界线。TCP底层并不了解上层业务数据的具体含义,它会根据TCP缓冲区的实际情况进行包的划分,所以在业务上认为,一个完整的包可能会被TCP拆分成多个包进行发送,也有可能把多个小的包封装成一个大的数据包发送,这就是所谓的TCP粘包和拆包问题。 (2)粘包和拆包问题产生原因主要有以下原因: 应用程序write写入的字节大小大于套接口发送缓冲区大小; 进行MSS大小的TCP分段; 以太网帧的payload大于MTU进行IP分片 (3)问题解决主要有如下几种策略: 消息定长,例如每个报文的大小为固定长度200字节,如果不够,空位补空格; 在包尾增加回车换行符进行分割,例如FTP协议 将消息分为消息头和消息体,消息头中包含表示消息总长度(或消息体长度)的字段,通常设计思路为消息头的第一个字段使用int32来表示消息的总长度; 更复杂的应用层协议出现粘包/分包问题的示例,maven项目:http://yunpan.cn/cwGTLsjvYHsj8 访问密码 687b
netty提供的三种解决粘包/分包问题的方法的maven项目:http://yunpan.cn/cwGiwLHgu3NLI 访问密码 bd18
4、java序列化问题 (1)序列化的性能 (2)序列化后的码流大小 (3)无法跨语言 正因为jdk自带的序列化和反序列化存在上面的问题,所以一般我们都不使用jdk自带的序列化5、protobuf框架 protobuf全称为Google Protocol Buffers,它将数据结构以.proto文件进行描述,通过代码生成工具可以生成对应数据结构的POJO对象和Protobuf相关的方法和属性。 它的特点如下: (1)结构化数据存储格式(xml,json等) (2)高效的编解码性能; (3)语言无关、平台无关、扩展性好; (4)官方支持JAVA、C++和Python三种语言 首先我们来看下为什么不使用XML,尽管XML的可读性和可扩展性非常好,也非常适合描述数据结构,但是XML解析的时间开销和XML为了可读性而牺牲的空间开销都非常大,因此不适合做高性能的通信协议。 Protobuf使用二进制编码,在空间和性能上其有更大的优势。 Protobuf另外一个比较吸引人的地方就是它的数据描述文件和代码生成几只,利用数据描述文件对数据结构进行说明的优点如下: (1)文本化的数据结构描述语言,可以实现语言和平台无关。特别使用异构系统间集成; (2)通过标识字段的顺序,可以实现协议的前向兼容 (3)自动代码生成,不需要手工编写同样数据结构的C++和JAVA版本; (4)方便后续的管理和维护。相比于代码,结构化的文档更容易管理和维护。6、JBoss Marshalling介绍 JBoss Marshalling是一个java对象的序列化API包,修正了JDK自带的序列化包的很多问题,但又保持跟java.io.Serializable接口的兼容:同时增加了一些可调的参数和附加的特性,并且这些参数和特性可通过工厂类进行配置。 相比于传统的java序列化几只,它的优点如下: (1)可插拔的类解析器,提供更加便捷的类加载定制策略,通过一个接口即可实现定制; (2)可插拔的对象替换技术,不需要通过继承的方式; (3)可插拔的预定义类缓存表,可以减小序列化的字节数组长度,提供常用类型的对象序列化性能; (4)无须实现java.io.Serializable接口,即可实现java序列化; (5)通过缓存技术提升对象的序列化性能。7、WebSocket介绍 HTTP协议的主要弊端总结如下: HTTP协议为半双工协议。半双工协议指数据可以在客户端和服务端两个方向上传输,但是不能同时传输。它以为着在同一时刻,只有一个方向上的数据传送 HTTP消息冗长而繁琐。HTTP消息包含消息头、消息体、换行符等。 通常情况下采用文本方式传输,相比于其他的二进制通信协议,冗长而繁琐。 针对服务器推送的黑客攻击,比如长时间轮询。 在WebSocket API中,浏览器和服务器只需要做一个握手的动作,然后,浏览器和服务器之间就形成了一条快速通道,两者就可以直接互相传送数据了。WebSocket基于TCP双向全双工进行消息传递,在同一时刻,既可以发送消息,也可以接受消息,相比于HTTP的半双工协议,性能得到很大提升。 WebSocket的特点主要有以下几点: 单一的TCP连接,采用全双工模式通信; 对代理、防火墙和路由器透明 无头部信息、Cookie和身份验证 无安全开销 通过“ping/pong”帧保持链路激活 服务器可以主动传递消息给客户端,不再需要客户端轮询