Java岗面试核心NIO有关知识总结
创始人
2024-04-08 01:42:46
这篇文章主要是阅读了一些关于NIO的文章,对一些重要的部分进行了摘取总结。
 

BIO、NIO、AIO的不同

BIO:同步阻塞IO模式,线程发起IO请求后,一直阻塞IO,直到缓冲区数据就绪后,再进行下一步操作。 NIO:是同步非阻塞IO,线程发起IO请求后,立即返回。同步体现在selector仍然要去轮询判断channel是否准备好,非阻塞体现在这个过程中处理用户线程不会一直等待,可以去做其他的事情,但是要定时轮询IO缓存区数据是否准备好。 NIO主要有buffer、channel、selector三个组件,通过零拷贝的buffer获取数 AIO是异步非阻塞IO模型。在上述NIO实现中,需要用户线程定时轮询,去检查IO缓冲区数据是否准备就绪,占用应用程序线程资源,其实轮询也是阻塞的,它需要查询哪些IO就绪了。而真正的理想的异步非阻塞IO应该让内核系统完成,用户线程只需告诉内核,当缓冲区就绪后,通知我或者执行回调函数。 BIO存在的问题 在BIO模式中,socket.accept()、socket.read()、socket.write()三个主要函数都是同步阻塞的。当一个连接处理IO的时候,系统是阻塞的,要想处理多个连接,就要使用多线程。但是,当面对数万级别的连接时,传统的BIO模型就不行了,太消耗资源了。 NIO与IO的区别 NIO以块的方式处理数据,但是IO是以最基础的字节流的形式进行写入和读出。 NIO的通道是双向的,但是IO中的流是单向的。 NIO采用的是多路复用的IO模型,普通的IO用的就是阻塞的IO模型。

NIO的工作流程

1) 首先先创建ServerSocketChannel对象和真正处理数据的线程池。
2)然后给刚刚创建的ServerSocketChannel对象进行绑定一个对用的端口,然后设置为非阻塞。
3)然后创建Selector对象并打开,然后把这个ServerSocketChannel对象注册到Selector中,并设置好监听的事件,监听SelectionKey.OP_ACCEPT。
4)Selector对象死循环监听每一个Channel通道的事件,循环执行Selector.select()方法,轮询就绪的方法。
5)从Selector中获取所有的SelectorKey,如果SelectorKey是处于OP_ACCEPT状态,说明有新的客户端接入,调用ServerSocketChannel.accept接收新的客户端。
6)然后把这个接收的新客户端的Channel通道注册到ServerSocketChannel上,并且把之前的OP_ACCEPT状态改为SelectionKey.OP_READ读取事件状态,并且设置为非阻塞,然后把当前的这个SelectorKey给移除掉,说明这个事件完成了。
7)如果第五步的事件不是OP_ACCEPT,那就是OP_READ读取数据的事件状态。然后调用对应的机制。
 

不选择JAVA原生NIO编程的原因

NIO的类库和API繁琐,使用麻烦,你需要熟练掌握Selector、ServerSocketChannel、SocketChannel、ByteBuffer等。 需要具备其他的额外技能做铺垫,例如要熟悉Java多线程编程。 可靠性能力补齐,工作量和难度都非常大。比如说拆包闭包问题。 JDK NIO的BUG,例如臭名昭著的epoll bug,它会导致Selector空轮询,最终导致CPU 100%。


为什么选择Netty

API简单,开发门槛低。 定制能力强,可以通过ChannelHandler对通信框架进行灵活的扩展。 成熟、稳定,Netty修复了已经发现的所有JDK NIO。 社区活跃,并且经历过大规模的商业应用考验。
 

Netty有什么特点

高并发。 Netty是一款基于NIO开发的网络通信框架,对比于BIO,它的并发性得到了很大的提高。
传输快。Netty的传输快是依赖于NIO的一个特性零拷贝 封装好。Netty封装了NIO操作的很多细节,提供易于使用的API,开发门槛低。原生的NIO的API繁琐,使用麻烦。 可靠性。解决了一些原生NIO存在的问题,比如说空轮序,封包闭包问题。
 

Netty如何解决空轮询

  • 对Selector的select操作周期进行统计,每完成一次空的Select操作就进行一次计数。
  • 若在某个周期内连续发生N次空轮询,则触发epoll死循环bug。
  • 重建Selecto,判断是否是其他线程发起的重建请求,若不是则将原SocketChannel从旧的Selector上去除注册,重新注册到新的Selector上,并将原来的Selector关闭。

NIO组件之选择器的select

select操作的返回值不是已准备好的通道的总数,而是从上一个select()调用之后进入就绪态的通道的数量。之前的调用就绪的,并且在本次调用中仍就绪的通道不会被计入,而那些在前一次调用中已经就绪但是已经不再处于就绪状态的通道也不会被计入。
 

零拷贝

在传统的I/O操作中,每次都需要把内核空间的数据拷贝到用户空间中,这样挺浪费空间的,所以零拷贝的出现就是为了解决这个问题。 主要有两种方法: mmap+write 和 Sendfile mmap+write 使用mmap+write方式替换原来的read+write方式,mmap是一种内存映射文件的方法,即将一个文件或者其他对象映射到进程的地址空间,实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对应关系。 这样就可以省略掉原来内核Read缓冲区Copy数据到用户缓冲区,但是还是需要内核Read缓冲区将数据Copy到内核Socket缓冲区。 Sendfile Sendfile是为了简化通过网络在两个通道内进行的数据传输过程。 它不仅减少了数据复制,还减少了上下文次数的切换。数据传送只发生在内核空间里,所以减少了一次上下文切换,但是还是存在一次Copy。 后来进行了改进,将Kernel Buffer中对应的数据描述信息(内存地址,偏移量)记录到相应的Socket缓冲区中,这样连内核空间中的一次CPU Copy也省掉了。
 

Netty的零拷贝具体体现

Netty零拷贝主要体现在三个方面。 Netty的接收和发送ByteBuffer采用DirtectByteBuffer,使用堆外直接内存进行Socket读写,不需要进行字节缓冲区的二次拷贝。 Netty在操作多个Channel时,使用CompositeChannelBuffer,它并不会开辟新的内存并复制所有ChannelBuffer内容,而是直接保存了所有ChannelBuffer的引用,并在子ChannelBuffer里进行读写,实现了零拷贝。 Netty的文件传输采用了transferTo方法,它可以直接将文件缓冲区的数据发送到目标Channel。

Netty工作流程服务端

1) 创建ServerBootStrap实例。
2)设置并绑定Reactor线程池:EventLoopGroup boss 和 worker,EventLoop就是处理所有注册到本线程Selector上面的Channel。
3)设置并绑定服务端的NioServerSocketChannel。
4)创建处理网络事件的ChannelPipeline和handler。
5)绑定并启动监听端口。
6)当轮询到准备就绪的channel后,由Reactor线程:NioEventLoop执行pipline中的方法,最终调度并执行channelHander。
 

客户端

1) 创建Bootstrap实例。
2)创建处理客户端连接Reactor线程组NioEventLoopGroup。
3)创建客户端连接的NioSocketChannel。
4)创建pipeline的channelHandler。
5)异步发起TCP连接并判断是否成功。

 

Java 自学免费加油站

Java基础语法-面向对象-集合-IO-线程与并发-异常-网络编程
java基础传送门:Java基础入门视频教程,零基础小白自学Java必备教程

​​

Java进阶
java进阶13天:Java13天进阶教程,深入学习Java编程核心思想
API: Java基础教程2020新版JDK8日期API解析

​​

技术框架 Spring:Java进阶教程spring框架,深入浅出讲解细致
SpringMVC+mybatis:Springmvc+Mybatis由浅入深全套视频教程
mybatis plus:MybatisPlus深入浅出教程,快速上手Mybatis-Plus
spring data:java进阶教程数据层全栈方案Spring Data高级应用

​​

分布式架构
Zookeeper+Dubbo:Dubbo快速入门,Java分布式框架必会的教程
Springcloud:SpringCloud从小白到精通教程
Skywalking:java基础教程全面的深入学习Skywalking
服务器中间件
Rabbitmq:RabbitMQ全套教程,RabbitMQ消息中间件到实战面试
Rocketmq:RocketMQ系统精讲,电商分布式消息中间件,硬核揭秘双十一
Kafka:Kafka深入浅出,快速玩转分布式发布订阅消息系统
Redis:Redis入门到精通,Java企业级解决方案必看
MongoDB:java必备基础教程-MongoDB基础入门到高级进阶
Apollo分布式:轻松入门Apollo分布式配置中心-服务中间件
服务器技术
Tomcat:Java进阶教程Tomcat核心原理解析
容器技术
Docker:Docker容器化技术,从零学会Docker教程
Kubernetes:Kubernetes(K8S)超快速入门教程

​​

练手项目合集
1.传智健康项目https://www.bilibili.com/video/BV1Bo4y117zVa
2.iHRM 人力资源管理系统https://www.bilibili.com/video/BV18A411L7UXa
3.Java项目《万信金融》企业级开发实战https://www.bilibili.com/video/BV1Ub4y1f7rka
4.好客租房项目https://www.bilibili.com/video/BV1sZ4y1F7PDa
5.品优购V1.3.1项目实战https://www.bilibili.com/video/BV1mi4y1L7Hta
6.Java大型分布式微服务闪聚支付项目https://www.bilibili.com/video/BV17v411V79c/a
7.Java集信达短信平台实战https://www.bilibili.com/video/BV1J

​​

面试题:
深入解读阿里等一线大厂java面试必考HashMap技术点
Java面试热点问题,synchronized原理剖析与优化
Java面试热门内容精讲之——并发编程volatile
MySQL优化教程,超详细的MySQL数据库优化,Java面试热点必考问题

觉得有帮助可以抓紧收藏,说不定啥时候失效了

相关内容

热门资讯

埃菲尔铁塔在哪 中国仿建埃菲尔... 2019年4月26日,广西南宁市,街头惊现一座巨型山寨版埃菲尔铁塔,高约20米,白色塔身,造型逼真,...
苗族的传统节日 贵州苗族节日有... 【岜沙苗族芦笙节】岜沙,苗语叫“分送”,距从江县城7.5公里,是世界上最崇拜树木并以树为神的枪手部落...
北京的名胜古迹 北京最著名的景... 北京从元代开始,逐渐走上帝国首都的道路,先是成为大辽朝五大首都之一的南京城,随着金灭辽,金代从海陵王...
长白山自助游攻略 吉林长白山游... 昨天介绍了西坡的景点详细请看链接:一个人的旅行,据说能看到长白山天池全凭运气,您的运气如何?今日介绍...
应用未安装解决办法 平板应用未... ---IT小技术,每天Get一个小技能!一、前言描述苹果IPad2居然不能安装怎么办?与此IPad不...
脚上的穴位图 脚面经络图对应的... 人体穴位作用图解大全更清晰直观的标注了各个人体穴位的作用,包括头部穴位图、胸部穴位图、背部穴位图、胳...
猫咪吃了塑料袋怎么办 猫咪误食... 你知道吗?塑料袋放久了会长猫哦!要说猫咪对塑料袋的喜爱程度完完全全可以媲美纸箱家里只要一有塑料袋的响...
demo什么意思 demo版本... 618快到了,各位的小金库大概也在准备开闸放水了吧。没有小金库的,也该向老婆撒娇卖萌服个软了,一切只...
世界上最漂亮的人 世界上最漂亮... 此前在某网上,选出了全球265万颜值姣好的女性。从这些数量庞大的女性群体中,人们投票选出了心目中最美...
埃菲尔铁塔在哪 中国仿建埃菲尔... 2019年4月26日,广西南宁市,街头惊现一座巨型山寨版埃菲尔铁塔,高约20米,白色塔身,造型逼真,...
苗族的传统节日 贵州苗族节日有... 【岜沙苗族芦笙节】岜沙,苗语叫“分送”,距从江县城7.5公里,是世界上最崇拜树木并以树为神的枪手部落...
北京的名胜古迹 北京最著名的景... 北京从元代开始,逐渐走上帝国首都的道路,先是成为大辽朝五大首都之一的南京城,随着金灭辽,金代从海陵王...
长白山自助游攻略 吉林长白山游... 昨天介绍了西坡的景点详细请看链接:一个人的旅行,据说能看到长白山天池全凭运气,您的运气如何?今日介绍...
世界上最漂亮的人 世界上最漂亮... 此前在某网上,选出了全球265万颜值姣好的女性。从这些数量庞大的女性群体中,人们投票选出了心目中最美...
应用未安装解决办法 平板应用未... ---IT小技术,每天Get一个小技能!一、前言描述苹果IPad2居然不能安装怎么办?与此IPad不...
脚上的穴位图 脚面经络图对应的... 人体穴位作用图解大全更清晰直观的标注了各个人体穴位的作用,包括头部穴位图、胸部穴位图、背部穴位图、胳...
demo什么意思 demo版本... 618快到了,各位的小金库大概也在准备开闸放水了吧。没有小金库的,也该向老婆撒娇卖萌服个软了,一切只...
猫咪吃了塑料袋怎么办 猫咪误食... 你知道吗?塑料袋放久了会长猫哦!要说猫咪对塑料袋的喜爱程度完完全全可以媲美纸箱家里只要一有塑料袋的响...