您现在的位置是:首页 >技术杂谈 >【Linux Network】高级IO网站首页技术杂谈
【Linux Network】高级IO
简介【Linux Network】高级IO
目录
高级IO?
前言
IO:所谓的I便是 input,所谓的O便是 output,简单点来说,我们平常使用键盘打字便是I,内容显示到显示器上便是O ;我们知道我们打字的速度相对于计算机的CPU来说是非常慢的,因此CPU执行的业务如果IO操作非常多的话,那么CPU在很长时间都是处于等待状态的;
可能大家对IO的整个过程不是特别了解,我将在此画一张图帮助大家更好的理解IO的大体过程;
可能大家会有这样一个误区:我们使用write系统调用接口是直接将数据发送至网络中的,使用read系统调用接口是直接从网络中取数据的,但其实不是如此;
在传输层中是存在着发送缓冲区和接收缓冲区的,我们使用read/recv系统调用接口是从发送缓冲区中读取数据的,使用write/send等系统调用接口是将数据先存到发送缓冲区中的;
发送缓冲区和接收缓冲区是存在水位线的,当发送缓冲区的数据超过水位线时,数据将被发送至网络,当接收缓冲区的数据超过水位线时,数据将被上层应用所读取;
实际上:IO=等+拷贝;
高级IO的本质:减少等待的时间;
五种IO模型
同步IO:
- 阻塞IO;
- 非阻塞IO;
- 信号驱动IO;
- IO多路转接;
异步IO:
阻塞IO
阻塞IO:在内核将数据准备好之前, 系统调用会一直等待;
所有的套接字, 默认都是阻塞方式.
阻塞
IO
是最常见的
IO
模型
.
非阻塞IO
非阻塞IO:如果内核还未将数据准备好, 系统调用仍然会直接返回, 并且返回EWOULDBLOCK错误码.
非阻塞
IO
往往需要程序员循环的方式反复尝试读写文件描述符
,
这个过程称为
轮询
.
这对
CPU
来说是较大的浪费
,
一般只有特定场景下才使用.
信号驱动IO
信号驱动IO:内核将数据准备好的时候, 使用SIGIO信号通知应用程序进行IO操作.
IO多路转接
IO多路转接:虽然从流程图上看起来和阻塞IO类似;
实际上最核心在于IO多路转接能够同时等待多个文件描述符的就绪状态.
异步IO
异步IO: 由内核在数据拷贝完成时, 通知应用程序;
(而信号驱动是告诉应用程序何时可以开始拷贝数据).
小结
- 任何IO过程中, 都包含两个步骤. 第一是等待, 第二是拷贝. 而且在实际的应用场景中, 等待消耗的时间往往都远远高于拷贝的时间. 让IO更高效, 最核心的办法就是让等待的时间尽量少.
同步通信 vs 异步通信
同步和异步关注的是消息通信机制
.
- 所谓同步,就是在发出一个调用时,在没有得到结果之前,该调用就不返回. 但是一旦调用返回,就得到返回值了; 换句话说,就是由调用者主动等待这个调用的结果;
- 异步则是相反,调用在发出之后,这个调用就直接返回了,所以没有返回结果; 换句话说,当一个异步过程调用发出后,调用者不会立刻得到结果; 而是在调用发出后,被调用者通过状态、通知来通知调用者,或通过回调函数处理这个调用;
另外
,
我们回忆在讲多进程多线程的时候
,
也提到同步和互斥
.
这里的同步通信和进程之间的同步是完全不想干的概念.
- 进程/线程同步也是进程/线程之间直接的制约关系;
- 是为完成某种任务而建立的两个或多个线程,这个线程需要在某些位置上协调他们的工作次序而等待、传递信息所产生的制约关系. 尤其是在访问临界资源的时候;
同学们以后在看到
"
同步
"
这个词
,
一定要先搞清楚大背景是什么
.
这个同步
,
是同步通信异步通信的同步
,
还是同步与互斥的同步;
阻塞 vs 非阻塞
阻塞和非阻塞关注的是程序在等待调用结果(消息,返回值)时的状态
.
- 阻塞调用是指调用结果返回之前,当前线程会被挂起. 调用线程只有在得到结果之后才会返回.
- 非阻塞调用指在不能立刻得到结果之前,该调用不会阻塞当前线程.
其他高级IO
非阻塞
IO
,纪录锁,系统
V
流机制,
I/O
多路转接(也叫
I/O
多路复用)
,readv
和
writev
函数以及存储映射IO(
mmap
),这些统称为高级
IO.
我们下篇博客重点讨论的是
I/O
多路转接;
非阻塞IO
一个文件描述符
,
默认都是阻塞
IO;
我们要想其是非阻塞IO,便要使用到
fcntl
函数;
fcntl函数
fcntl函数可以改变已打开的文件性质。针对cmd的值,fcntl能够接受第三个参数int arg。
函数原型如下:
#include <unistd.h>
#include <fcntl.h>
int fcntl(int fd, int cmd, ... /* arg */ );
参数:
- fd:要修改的文件描述符;
- cmd:传入的cmd的值不同, 后面追加的参数也不相同;
- ... /* arg */:在此不做讨论;
返回值:
- fcntl的返回值与命令有关。如果出错,所有命令都返回-1,如果成功则返回某个其他值。
fcntl函数有5种功能:
- 复制一个现有的描述符(cmd=F_DUPFD);
- 获得/设置文件描述符标记(cmd=F_GETFD或F_SETFD);
- 获得/设置文件状态标记(cmd=F_GETFL或F_SETFL);
- 获得/设置异步I/O所有权(cmd=F_GETOWN或F_SETOWN);
- 获得/设置记录锁(cmd=F_GETLK,F_SETLK或F_SETLKW);
我们此处只是用第三种功能
,
获取
/
设置文件状态标记
,
就可以将一个文件描述符设置为非阻塞;
实现函数SetNoBlock
基于
fcntl,
我们实现一个
SetNoBlock
函数
,
将文件描述符设置为非阻塞;
void SetNoBlock(int fd)
{
int fl = fcntl(fd, F_GETFL);
if (fl < 0)
{
perror("fcntl");
return;
}
fcntl(fd, F_SETFL, fl | O_NONBLOCK);
}
- 使用F_GETFL将当前的文件描述符的属性取出来(这是一个位图).;
- 然后再使用F_SETFL将文件描述符设置回去. 设置回去的同时, 加上一个O_NONBLOCK参数;
代码测试
#include <stdio.h>
#include <unistd.h>
#include <fcntl.h>
#include <string.h>
#include <errno.h>
void SetNonBlock(int fd)
{
int f1 = fcntl(fd, F_GETFL);
if(f1<0)
{
perror("fcntl");
return ;
}
fcntl(fd, F_SETFL, f1 | O_NONBLOCK);
}
int main()
{
//设置文件描述符:0为非阻塞
SetNonBlock(0);
while(1)
{
char buffer[1024];
ssize_t s = read(0, buffer, sizeof(buffer)-1);
//读取到了数据
if(s>0)
{
buffer[s] = '