《UNIX 环境高级编程》笔记 - 文件 IO

本章描述的函数经常被称为 不带缓冲 的 I/O(unbuffered I/O)。术语 不带缓冲 指的是每个 readwrite 函数都会调用内核中的一个系统调用。

文件描述符

对于内核而言,所有打开的文件都通过 文件描述符 引用。文件描述符是一个非负整数,当打开一个现有文件或者创建一个新文件时,内核向进程返回一个文件描述符。当读、写一个文件时,使用 open 或者 create 返回的文件描述符用于标识该文件,将其作为参数传给 read 或者 write

UNIX 系统把文件描述符 0 与进程的标准输入关联,文件描述符 1 与标准输出关联,文件描述符 2 与标准错误关联。

在符合 POSIX 的应用程序中,魔法值 0、1、2 虽然已经被标准化,但应当把它们替换为符号常量 STDIN_FILENOSTDOUT_FILENOSTDERR_FILENO 以提高可读性。这些常量都在头文件 <unistd.h> 中定义。

函数 open 和 openat

调用 open 函数或 openat 函数可以打开或创建一个文件。

#include <sys/stat.h>
#include <fcntl.h>

int open(const char *path, int oflag, ...);
int openat(int fd, const char *path, int oflag, ...);

path 参数是要打开或创建文件的名字,oflag 参数用来说明此函数的多个选项。用下列一个或多个常量进行「或」运算来构成 oflag 参数:

  • O_RDONLY 只读打开;

  • O_WRONLY 只写打开;

  • O_RDWR 读写打开;

  • O_EXEC 只执行打开;

  • O_APPEND 每次 write 时都追加内容到文件的尾端;

  • O_CREAT 若文件不存在,则会创建;

  • O_TRUNC 如果文件存在,而且为只写或者读写打开时,则会将其长度截断为 0;

  • O_NONBLOCK 当以只写或者读写打开 FIFO(进程间通信)时,或者当打开支持以非阻塞方式打开的块特殊文件和字符特殊文件时,后续的 I/O 操作将会被设置为非阻塞的;

  • O_SYNC 每次 write 等待物理 I/O 操作完成,包括由该写操作引起的更新文件属性所需的 I/O;

  • O_DSYNC 每次 write 等待物理 I/O 操作完成,忽略由该写操作引起的更新文件属性所需的 I/O;

  • ……

openat 函数时 POSIX 最新版本中新增的函数,支持让线程可以使用相对路径名打开目录中的文件,而不再只能打开当前工作目录中的文件。

函数 creat

调用 creat 函数可以创建一个新的文件。

#include <sys/stat.h>
#include <fcntl.h>

int creat(const char *path, mode_t mode);

creat 函数等同于调用 open(path, O_WRONLY|O_CREAT|O_TRUNC, mode)

函数 close

调用 close 函数可以关闭一个打开的文件。

#include <unistd.h>

int close(int fildes);

关闭一个文件时,还会释放该进程加在该文件上的所有记录锁。当一个进程终止时,内核自动关闭它所有的打开文件。

函数 lseek

调用 lseek 函数可以显式地为一个打开的文件设置偏移量。

#include <unistd.h>

off_t lseek(int fildes, off_t offset, int whence);

每个打开的文件都有一个与其关联的「当前文件偏移量(current file offset)」。它通常是一个非负整数,用以度量文件开始处计算的字节数。通常,读、写操作都从当前文件偏移量处开始,并使偏移量增加所读写的字节数。

当打开一个文件时,除非指定 O_APPEND 选项,否则该偏移量被设置为 0。

如果文件描述符指向的是管道、FIFO、网络套接字,则 lseek 函数返回 -1,并将 errno 设置为 ESPIPE

函数 read

调用 read 函数可以从打开的文件中读取数据。

#include <unistd.h>

ssize_t pread(int fildes, void *buf, size_t nbyte, off_t offset);
ssize_t read(int fildes, void *buf, size_t nbyte);

如果 read 函数执行成功,则返回实际读取的字节数,如果已到达文件的尾端,则返回 0。

函数 write

调用 write 函数可以向打开的文件中写入数据。

#include <unistd.h>

ssize_t pwrite(int fildes, const void *buf, size_t nbyte,
           off_t offset);
ssize_t write(int fildes, const void *buf, size_t nbyte);

I/O 的效率

大多数文件系统为改善性能,都会采用某种预读(read ahead)技术。当检测到正进行顺序读取时,系统就会试图读入比应用所需的更多数据,并假设应用很快就会读取到这些数据。

原子操作

追加文件内容

早期版本的 UNIX 系统不支持 open 函数的 O_APPEND 选项,因此追加文件内容的逻辑会被写成:

if (lseek(fd, OL, 2) < 0) {
  err_sys("lseek error");
}
if (write(fd, buf, 100) != 100) {
  err_sys("write_error");
}

被拆分成两个函数调用的「先定位到文件尾端,然后写入内容」逻辑代码是非原子性的,因为在两个函数调用之间,内核有可能会临时挂起进程。

UNIX 系统为这样的操作提供了一种保证原子性的方法,即在打开文件时设置 O_APPEND 选项。

函数 pread 和 pwrite

调用 pread 函数和 pwrite 函数可以原子性地定位并执行 I/O 操作。

#include <unistd.h>

ssize_t pread(int fildes, void *buf, size_t nbyte, off_t offset);
ssize_t pwrite(int fildes, const void *buf, size_t nbyte,
           off_t offset);

调用 pread 函数或 pwrite 函数相当于先调用 lseek 函数再调用 read 函数或 write 函数,但又有一些区别:

  • 调用 pread 函数或 pwrite 函数时,无非中断其定位和读写操作;

  • 不会更新当前文件的偏移量。

创建一个文件

open 函数的 O_CREAT 选项支持原子性的「检查文件是否存在,当文件不存在时则创建文件」的逻辑操作。

函数 dup 和 dup2

调用 dup 函数或 dup2 函数可以复制一个现有的文件描述符。

#include <unistd.h>

int dup(int fildes);
int dup2(int fildes, int fildes2);

函数 sync、fsync 和 fdatasync

传统的 UNIX 系统实现,在内核中设有缓冲区高速缓存或页高速缓存,大多数磁盘 I/O 都通过缓冲区进行。当我们向文件写入数据时,内核通常先将数据复制到缓冲区中,然后排入队列,晚些时候再写入磁盘。这种方式被称为「延迟写(delayed write)」。

通常,当内核需要重用缓冲区来存放其它磁盘的数据块时,它会把所有延迟写的数据块写入磁盘。为了保证磁盘上实际文件系统与缓冲区中的内容一致,UNIX 系统提供了 syncfsyncfdatasync 三个函数。

#include <unistd.h>

void sync(void);
int fsync(int fildes);
int fdatasync(int fildes);

sync 函数只是将所有修改过的在缓冲区中的数据块排入写队列,然后就返回,它并不等待实际写磁盘的操作结束。通常,称为 update 的系统守护进程会周期性地调用(一般间隔 30s)sync 函数。

fsync 函数只对由文件描述符 fd 指定的一个文件起作用,并且等待写磁盘的操作结束时才返回。fsync 可用于数据库这样的应用程序,这类应用程序需要确保修改过的数据块立即写到磁盘上。

fdatasync 函数类似于 fsync 函数,但它只影响文件的数据部分。而 fsync 函数除了对数据部分,还会同步更新文件的属性。

函数 fcntl

调用 fcntl 函数可以修改已经打开文件描述符/文件状态的标志。

#include <fcntl.h>

int fcntl(int fildes, int cmd, ...);

fcntl 函数支持以下 5 种功能:

  1. 复制一个已有的描述符;

  2. 获取/设置文件描述符的标志;

  3. 获取/设置文件状态的标志;

  4. 获取/设置异步 I/O 所有权;

  5. 获取/设置记录锁。

在 UNIX 系统中,通常 write 只是将数据排入队列,而实际的写磁盘操作则可能在之后的某个时刻进行。数据库系统则会需要使用 O_SYNC 选项,当它从调用 write 函数返回时就可以确保数据已经的确写入到磁盘上了,以系统在异常时导致数据丢失。

程序在运行时,设置 O_SYNC 标志会增加系统时间和时钟时间,其原因是内核需要从进程中复制数据,并将数据排入队列以便由磁盘驱动器将其写到磁盘上。当使用同步写入时,系统时间和时钟时间便会显著增加。

函数 ioctl

ioctl 函数一直是 I/O 操作的杂物箱,不能用本章中其它函数表示的 I/O 操作通常都能用 ioctl 函数来完成。终端 I/O (例如树莓派的 GPIO)是使用 ioctl 最多的地方。

#include <stropts.h>

int ioctl(int fildes, int request, ... /* arg */);

最后更新于