Linux C/C++ 学习笔记(九):百万并发的服务器实现
创始人
2024-02-17 13:29:04

本文内容参考自(2条消息) Linux C/C++ 开发(学习笔记十三):百万并发的服务器实现_菊头蝙蝠的博客-CSDN博客_linux百万并发

一、connection_refuesed ---->文件系统最大的进程fd个数

nat 模式,物理机的VMnet8网卡,连接到了VMnet8虚拟交换机,在本机使用网络调试助手要使用此ip,其他ip连不上。

linux 文件系统默认的文件描述符的数量是1024个,可以通过ulimit -a命令查看

可通过ulimit -n命令进行修改,这种修改方式是临时修改,系统重启后又恢复原状

可通过修改文件永久修改系统默认的文件描述符数量

在这里插入图片描述

 在那个文件下添加两行

在这里插入图片描述

 reboot后即可

二、Cannot assign requested address-----> 在服务器开多个端口

问题及原因

在客户端这边,远程ip,远程端口,协议都是确定的,本机ip也是确定的,那么实际上就是本机的端口耗尽了。

解决方法就是 在服务器开多个端口。

解决问题

通过一个循环,开MAX_PORT个端口,每个为一个sockfd
并把每个sockfd加入到epoll中去
最后还需要用一个数组,将每次遇到的sockfd存入到数组后。(由于后续在监听到数据后,需要区分是listenfd还是客户端的信息)

后续while(1) 持续监听的时候,通过sockfds数组(理解为sockfd的集合)判断是listenfd还是clientfd就行了。

通过将MAX_PORT个io都放入到epoll中去管理

三、Connection time out----->设置当前系统设置最大连接数和防火墙对外的最大连接数

 运行到后来,客户端还是会出现问题

 可以看到64999非常接近65535这个数

排查问题

通过命令来查看 系统所有进程一共可以打开的文件数量 

 

结果很大,因此和最大可打开的文件数量没有关系

查看当前系统设置最大连接数

 这是 内核里面设置的防火墙对外的最大连接数

在这里插入图片描述

 因此需要设置参数,linux内核中的参数,都可以通过sysctl.conf来设置

在这里插入图片描述

 修改后,通过下面这条命令进行生效

 在这里插入图片描述

四、服务器 too many open files in system ----> 设置file_max

然后发现,服务器端,出现了问题,too many open files in system 

在这里插入图片描述发现服务器的file-max不够大

 在这里插入图片描述

 对服务器端的/etc/sysctl.conf 同样进行修改

 在这里插入图片描述

通过sudo sysctl -p去更新

如果出现问题

在这里插入图片描述

 需要 运行下列命令。

 在这里插入图片描述

Linux modprobe命令用于自动处理可载入模块。modprobe可载入指定的个别模块,或是载入一组相依的模块。

 然后再sudo sysctl -p去更新

五、内存不够----->调整TCP/IP协议栈 参数

在跑的时候查看htop,发现当一段时间后,fd个数不再增加了

在这里插入图片描述

服务器停住了,因为内存满了,但是过一会又开始下降,说明是内存开始回收。
一旦开始对客户端大量进程结束,cpu的利用率会到达100%(而一般不能这么做,一般不能超过80%)

这时候就要调整 TCP/IP协议栈了。

在这里插入图片描述

在这里插入图片描述

 net.ipv4.tcp_mem, tcp全局缓存大小,单位是页(4k)从左到右分别是 1G   2G   3G

  2G之前系统不会有什么行动,2~3G系统会进行内存优化(比如对没用的TCP连接进行回收),3G以上禁止分配

net.ipv4.tcp_wmem对应tcp套接字的发送缓冲区,单位是B,从左到右分别是最小值、默认值(创建套接字时分配的大小)和最大值

net.ipv4.tcp_rmem对应tcp套接字的接收缓冲区,单位是B,从左到右分别是最小值、默认值(创建套接字时分配的大小)和最大值 

sockfd-->2k

1024字节2*100w差不多为2G。(通过这种方式计算出来)

总的缓存=(每个fd发送缓存+每个fd接受缓存)*fd数量

如果想做到千万并发,就要用到用户态协议栈了

如果想提升客户端连接速度,可以将100个listenfd放入100个线程中去
把clientfd和listenfd放到不同的线程中

如果只利用一个端口8888,开多个进程

相关内容

热门资讯

埃菲尔铁塔在哪 中国仿建埃菲尔... 2019年4月26日,广西南宁市,街头惊现一座巨型山寨版埃菲尔铁塔,高约20米,白色塔身,造型逼真,...
苗族的传统节日 贵州苗族节日有... 【岜沙苗族芦笙节】岜沙,苗语叫“分送”,距从江县城7.5公里,是世界上最崇拜树木并以树为神的枪手部落...
北京的名胜古迹 北京最著名的景... 北京从元代开始,逐渐走上帝国首都的道路,先是成为大辽朝五大首都之一的南京城,随着金灭辽,金代从海陵王...
应用未安装解决办法 平板应用未... ---IT小技术,每天Get一个小技能!一、前言描述苹果IPad2居然不能安装怎么办?与此IPad不...
脚上的穴位图 脚面经络图对应的... 人体穴位作用图解大全更清晰直观的标注了各个人体穴位的作用,包括头部穴位图、胸部穴位图、背部穴位图、胳...
长白山自助游攻略 吉林长白山游... 昨天介绍了西坡的景点详细请看链接:一个人的旅行,据说能看到长白山天池全凭运气,您的运气如何?今日介绍...
demo什么意思 demo版本... 618快到了,各位的小金库大概也在准备开闸放水了吧。没有小金库的,也该向老婆撒娇卖萌服个软了,一切只...
猫咪吃了塑料袋怎么办 猫咪误食... 你知道吗?塑料袋放久了会长猫哦!要说猫咪对塑料袋的喜爱程度完完全全可以媲美纸箱家里只要一有塑料袋的响...
世界上最漂亮的人 世界上最漂亮... 此前在某网上,选出了全球265万颜值姣好的女性。从这些数量庞大的女性群体中,人们投票选出了心目中最美...
埃菲尔铁塔在哪 中国仿建埃菲尔... 2019年4月26日,广西南宁市,街头惊现一座巨型山寨版埃菲尔铁塔,高约20米,白色塔身,造型逼真,...
苗族的传统节日 贵州苗族节日有... 【岜沙苗族芦笙节】岜沙,苗语叫“分送”,距从江县城7.5公里,是世界上最崇拜树木并以树为神的枪手部落...
北京的名胜古迹 北京最著名的景... 北京从元代开始,逐渐走上帝国首都的道路,先是成为大辽朝五大首都之一的南京城,随着金灭辽,金代从海陵王...
应用未安装解决办法 平板应用未... ---IT小技术,每天Get一个小技能!一、前言描述苹果IPad2居然不能安装怎么办?与此IPad不...