网络编程的一些个人总结

link管理

链接快照平台

输入网页链接，自动生成快照
标签化管理网页链接

相关文章推荐

痴情的青椒 · 王鹤棣经纪人_王鹤棣个人资料简介· 2 周前 ·

宽容的领带 · AutoIt中文论坛|acn|au3|软件汉 ...· 1 月前 ·

个性的大白菜 · SRZoo--深度学习图像超分辨率工具-腾讯 ...· 1 月前 ·

聪明伶俐的围巾 · 自带充电桩的分时租赁 ...· 3 月前 ·

小眼睛的金鱼 · 黄龄胡洋恋情曝光，男方疑似婚内出轨，前妻朋友 ...· 4 月前 ·

一些手册一定要好好读一下，比如 proc(5), capabilities(7), icmp(7), ipv6(7), netlink(7), raw(7), socket(7), tcp(7), udp(7)

epoll 或者 select 处理事件时，可读事件时，read返回值-1，如果errno不为EAGAIN，可以认为失败，并关闭fd。read返回0，说明对方断开连接，此时也需要关闭fd。如果链路断了，如拔掉网线，需要是用keepalive来触发可写事件

本地UDP发送过快也是会丢包的。非阻塞情况下的unix domain socket哪怕是STREAM的也是会丢包的

使用unix socket的一个linux专属技巧是abstract pathname，系统会自动管理sock path，详见man 7 unix，经测试使用的缺点为如果程序segment fault等原因崩溃，地址不会自动释放。下次绑定就会失败

使用unix socket通信相比于本地udp通信减少了校验和的计算。使用阻塞函数时，unix domain socket可以保证不丢包不乱序，但是当发送缓冲区满了的话则会阻塞。使用非阻塞操作时经测试会丢包

使用setsockopt设置发送缓冲时，SO_RCVBUF和SO_SNDBUF的最大值受系统设置限制(man 7 socket)。可以使用SO_RCVBUFFORCE和SO_SNDBUFFORCE来无视系统设置

SIGPIPE信号，网络编程时一定要处理该信号。同样一般要设置的还有SO_REUSEADDR。当客户端close连接时，若server继续发送数据，会收到RST，继续写就会SIGPIPE

Consider two peers, A and B, communicating via TCP. If B closes a socket and there is any data in B’s receive queue, B sends a TCP RST to A instead of following the standard TCP closing protocol, resulting in an ECONNRESET error return value from recv( )

网络编程对事件进行封装，提供注册回调函数，在可读、可写时进行函数调用。一般用法，针对非阻塞情况，初始化时将可读事件注册，需要写的时候先写，写不下去的时候(errno=EAGAIN)再挂上可写事件，只要发送缓冲区还有空间，就是可写的

基于事件的编程框架，需要记录最后一次成功read或write的时间，如果idletime大于阈值，直接close

服务器编程可以设置最大的fd个数，然后一次性申请FileEvent数组，之后由fd到事件查询代价O(1)

针对非阻塞socket，connect返回EINPROGRESS时需要将fd加到可写事件监视集合中，当select()或者poll()返回可写事件时，需要用getsockopt去读SOL_SOCKET层面的SO_ERROR选项，SO_ERROR为0表示连接成功，否则为连接失败

epoll ET模式的处理方式。读：只要可读就一直读，一直读到返回0，或者error = EAGAIN。写：只要可写就一直写，知道数据发送完，或者errno = EAGAIN

socket read缓冲区最大值TCP可查看”/proc/sys/net/ipv4/tcp_rmem”， udp 65536

实现定时器时通常办法是select/poll/epoll接口，精度毫秒级；还有就是新增的系统调用timerfd_create 把时间变成了一个文件描述符，该“文件”在定时器超时的那一刻变得可读，高于poll的精度

在主动关闭连接时，可以先shutdown(fd, SHUT_WR)关闭写端，等对方close时再关闭读端。这样子的好处是如果对方已经发送了一些数据，这些数据不会漏收。这就要求对端在read返回0之后关闭连接或者shutdown写端

网络编程一种比较好的模型是“one loop per thread”，如果事件库不是线程安全的，则需要使用pipe或者

socketpair通知，子线程接受到通知(fd可读)后处理，kernel 2.6.22加入了eventfd，是更好的通知方法

TCP Nagle算法和TCP Delayed Ack机制可能会导致网络延时(Linux 40ms, Windows 200ms)，最容易产生问题的就是"Write-Write-Read”这种模型，发送端的Nagle算法和接收端的Delayed Ack会导致一直等到接收端delayed ack超时后数据才发送出去

accept返回EMFILE，进程描述符用完了，无法创建新的socket，也无法close连接，会导致不断通知该可读事件，程序busy loop，cpu 100%，解决方法是事先准备一个nullfd=open(“/dev/null”)，close该fd，accept，close socket，然后再nullfd=open(“/dev/null”)，缺点是该方法线程不安全，多线程accept可能导致nullfd用于新socket创建，然后又处于busy loop中

关注下signalfd(2.6.22+)，eventfd(2.6.22+)，timerfd(2.6.25+)，分别可以做信号通知、事件通知和定时器，都可以select/poll/epoll，有事件发生时fd可读

清除不活跃的socket，使用定时器在处理大量连接时会很低效，可以采用timing wheel算法进行处理

在高并发的情况下，系统的fd数目可能是瓶颈，系统统一限制为/proc/sys/fs/file-max，该值的默认大小为内存总数/10k(fs/file_table.c)