原來(lái)8張圖，就可以搞懂「零拷貝」了

前言

磁盤可以說(shuō)是計(jì)算機(jī)系統(tǒng)最慢的硬件之一，讀寫速度相差內(nèi)存 10 倍以上，所以針對(duì)優(yōu)化磁盤的技術(shù)非常的多，比如零拷貝、直接 I/O、異步 I/O 等等，這些優(yōu)化的目的就是為了提高系統(tǒng)的吞吐量，另外操作系統(tǒng)內(nèi)核中的磁盤高速緩存區(qū)，可以有效的減少磁盤的訪問(wèn)次數(shù)。

這次，我們就以「文件傳輸」作為切入點(diǎn)，來(lái)分析 I/O 工作方式，以及如何優(yōu)化傳輸文件的性能。

正文

為什么要有 DMA 技術(shù)?

在沒(méi)有 DMA 技術(shù)前，I/O 的過(guò)程是這樣的：

• CPU 發(fā)出對(duì)應(yīng)的指令給磁盤控制器，然后返回；

• 磁盤控制器收到指令后，于是就開(kāi)始準(zhǔn)備數(shù)據(jù)，會(huì)把數(shù)據(jù)放入到磁盤控制器的內(nèi)部緩沖區(qū)中，然后產(chǎn)生一個(gè)中斷；

• CPU 收到中斷信號(hào)后，停下手頭的工作，接著把磁盤控制器的緩沖區(qū)的數(shù)據(jù)一次一個(gè)字節(jié)地讀進(jìn)自己的寄存器，然后再把寄存器里的數(shù)據(jù)寫入到內(nèi)存，而在數(shù)據(jù)傳輸?shù)钠陂g CPU 是無(wú)法執(zhí)行其他任務(wù)的。

為了方便你理解，我畫了一副圖：

可以看到，整個(gè)數(shù)據(jù)的傳輸過(guò)程，都要需要 CPU 親自參與搬運(yùn)數(shù)據(jù)的過(guò)程，而且這個(gè)過(guò)程，CPU 是不能做其他事情的。

簡(jiǎn)單的搬運(yùn)幾個(gè)字符數(shù)據(jù)那沒(méi)問(wèn)題，但是如果我們用千兆網(wǎng)卡或者硬盤傳輸大量數(shù)據(jù)的時(shí)候，都用 CPU 來(lái)搬運(yùn)的話，肯定忙不過(guò)來(lái)。

計(jì)算機(jī)科學(xué)家們發(fā)現(xiàn)了事情的嚴(yán)重性后，于是就發(fā)明了 DMA 技術(shù)，也就是直接內(nèi)存訪問(wèn)（Direct Memory Access）?技術(shù)。

什么是 DMA 技術(shù)？簡(jiǎn)單理解就是，在進(jìn)行 I/O 設(shè)備和內(nèi)存的數(shù)據(jù)傳輸?shù)臅r(shí)候，數(shù)據(jù)搬運(yùn)的工作全部交給 DMA 控制器，而 CPU 不再參與任何與數(shù)據(jù)搬運(yùn)相關(guān)的事情，這樣 CPU 就可以去處理別的事務(wù)。

那使用 DMA 控制器進(jìn)行數(shù)據(jù)傳輸?shù)倪^(guò)程究竟是什么樣的呢？下面我們來(lái)具體看看。

具體過(guò)程：

• 用戶進(jìn)程調(diào)用 read 方法，向操作系統(tǒng)發(fā)出 I/O 請(qǐng)求，請(qǐng)求讀取數(shù)據(jù)到自己的內(nèi)存緩沖區(qū)中，進(jìn)程進(jìn)入阻塞狀態(tài)；

• 操作系統(tǒng)收到請(qǐng)求后，進(jìn)一步將 I/O 請(qǐng)求發(fā)送 DMA，然后讓 CPU 執(zhí)行其他任務(wù)；

• DMA 進(jìn)一步將 I/O 請(qǐng)求發(fā)送給磁盤；

• 磁盤收到 DMA 的 I/O 請(qǐng)求，把數(shù)據(jù)從磁盤讀取到磁盤控制器的緩沖區(qū)中，當(dāng)磁盤控制器的緩沖區(qū)被讀滿后，向 DMA 發(fā)起中斷信號(hào)，告知自己緩沖區(qū)已滿；

• DMA 收到磁盤的信號(hào)，將磁盤控制器緩沖區(qū)中的數(shù)據(jù)拷貝到內(nèi)核緩沖區(qū)中，此時(shí)不占用 CPU，CPU 可以執(zhí)行其他任務(wù)；

• 當(dāng) DMA 讀取了足夠多的數(shù)據(jù)，就會(huì)發(fā)送中斷信號(hào)給 CPU；

• CPU 收到 DMA 的信號(hào)，知道數(shù)據(jù)已經(jīng)準(zhǔn)備好，于是將數(shù)據(jù)從內(nèi)核拷貝到用戶空間，系統(tǒng)調(diào)用返回；

可以看到， 整個(gè)數(shù)據(jù)傳輸?shù)倪^(guò)程，CPU 不再參與數(shù)據(jù)搬運(yùn)的工作，而是全程由 DMA 完成，但是 CPU 在這個(gè)過(guò)程中也是必不可少的，因?yàn)閭鬏斒裁磾?shù)據(jù)，從哪里傳輸?shù)侥睦?，都需?CPU 來(lái)告訴 DMA 控制器。

早期 DMA 只存在在主板上，如今由于 I/O 設(shè)備越來(lái)越多，數(shù)據(jù)傳輸?shù)男枨笠膊槐M相同，所以每個(gè) I/O 設(shè)備里面都有自己的 DMA 控制器。

傳統(tǒng)的文件傳輸有多糟糕？

如果服務(wù)端要提供文件傳輸?shù)墓δ?，我們能想到的最?jiǎn)單的方式是：將磁盤上的文件讀取出來(lái)，然后通過(guò)網(wǎng)絡(luò)協(xié)議發(fā)送給客戶端。

傳統(tǒng) I/O 的工作方式是，數(shù)據(jù)讀取和寫入是從用戶空間到內(nèi)核空間來(lái)回復(fù)制，而內(nèi)核空間的數(shù)據(jù)是通過(guò)操作系統(tǒng)層面的 I/O 接口從磁盤讀取或?qū)懭搿?/p>

代碼通常如下，一般會(huì)需要兩個(gè)系統(tǒng)調(diào)用：

read(file,?tmp_buf,?len);
write(socket,?tmp_buf,?len);

代碼很簡(jiǎn)單，雖然就兩行代碼，但是這里面發(fā)生了不少的事情。

首先，期間共發(fā)生了 4 次用戶態(tài)與內(nèi)核態(tài)的上下文切換，因?yàn)榘l(fā)生了兩次系統(tǒng)調(diào)用，一次是?read()?，一次是?write()，每次系統(tǒng)調(diào)用都得先從用戶態(tài)切換到內(nèi)核態(tài)，等內(nèi)核完成任務(wù)后，再?gòu)膬?nèi)核態(tài)切換回用戶態(tài)。

上下文切換到成本并不小，一次切換需要耗時(shí)幾十納秒到幾微秒，雖然時(shí)間看上去很短，但是在高并發(fā)的場(chǎng)景下，這類時(shí)間容易被累積和放大，從而影響系統(tǒng)的性能。

其次，還發(fā)生了 4 次數(shù)據(jù)拷貝，其中兩次是 DMA 的拷貝，另外兩次則是通過(guò) CPU 拷貝的，下面說(shuō)一下這個(gè)過(guò)程：

• 第一次拷貝，把磁盤上的數(shù)據(jù)拷貝到操作系統(tǒng)內(nèi)核的緩沖區(qū)里，這個(gè)拷貝的過(guò)程是通過(guò) DMA 搬運(yùn)的。

• 第二次拷貝，把內(nèi)核緩沖區(qū)的數(shù)據(jù)拷貝到用戶的緩沖區(qū)里，于是我們應(yīng)用程序就可以使用這部分?jǐn)?shù)據(jù)了，這個(gè)拷貝到過(guò)程是由 CPU 完成的。

• 第三次拷貝，把剛才拷貝到用戶的緩沖區(qū)里的數(shù)據(jù)，再拷貝到內(nèi)核的 socket 的緩沖區(qū)里，這個(gè)過(guò)程依然還是由 CPU 搬運(yùn)的。

• 第四次拷貝，把內(nèi)核的 socket 緩沖區(qū)里的數(shù)據(jù)，拷貝到網(wǎng)卡的緩沖區(qū)里，這個(gè)過(guò)程又是由 DMA 搬運(yùn)的。

我們回過(guò)頭看這個(gè)文件傳輸?shù)倪^(guò)程，我們只是搬運(yùn)一份數(shù)據(jù)，結(jié)果卻搬運(yùn)了 4 次，過(guò)多的數(shù)據(jù)拷貝無(wú)疑會(huì)消耗 CPU 資源，大大降低了系統(tǒng)性能。

這種簡(jiǎn)單又傳統(tǒng)的文件傳輸方式，存在冗余的上文切換和數(shù)據(jù)拷貝，在高并發(fā)系統(tǒng)里是非常糟糕的，多了很多不必要的開(kāi)銷，會(huì)嚴(yán)重影響系統(tǒng)性能。

所以，要想提高文件傳輸?shù)男阅?，就需要減少「用戶態(tài)與內(nèi)核態(tài)的上下文切換」和「內(nèi)存拷貝」的次數(shù)。

如何優(yōu)化文件傳輸?shù)男阅埽?/span>

先來(lái)看看，如何減少「用戶態(tài)與內(nèi)核態(tài)的上下文切換」的次數(shù)呢？

讀取磁盤數(shù)據(jù)的時(shí)候，之所以要發(fā)生上下文切換，這是因?yàn)橛脩艨臻g沒(méi)有權(quán)限操作磁盤或網(wǎng)卡，內(nèi)核的權(quán)限最高，這些操作設(shè)備的過(guò)程都需要交由操作系統(tǒng)內(nèi)核來(lái)完成，所以一般要通過(guò)內(nèi)核去完成某些任務(wù)的時(shí)候，就需要使用操作系統(tǒng)提供的系統(tǒng)調(diào)用函數(shù)。

而一次系統(tǒng)調(diào)用必然會(huì)發(fā)生 2 次上下文切換：首先從用戶態(tài)切換到內(nèi)核態(tài)，當(dāng)內(nèi)核執(zhí)行完任務(wù)后，再切換回用戶態(tài)交由進(jìn)程代碼執(zhí)行。

所以，要想減少上下文切換到次數(shù)，就要減少系統(tǒng)調(diào)用的次數(shù)。

再來(lái)看看，如何減少「數(shù)據(jù)拷貝」的次數(shù)？

在前面我們知道了，傳統(tǒng)的文件傳輸方式會(huì)歷經(jīng) 4 次數(shù)據(jù)拷貝，而且這里面，「從內(nèi)核的讀緩沖區(qū)拷貝到用戶的緩沖區(qū)里，再?gòu)挠脩舻木彌_區(qū)里拷貝到 socket 的緩沖區(qū)里」，這個(gè)過(guò)程是沒(méi)有必要的。

因?yàn)槲募鬏數(shù)膽?yīng)用場(chǎng)景中，在用戶空間我們并不會(huì)對(duì)數(shù)據(jù)「再加工」，所以數(shù)據(jù)實(shí)際上可以不用搬運(yùn)到用戶空間，因此用戶的緩沖區(qū)是沒(méi)有必要存在的。

如何實(shí)現(xiàn)零拷貝？

零拷貝技術(shù)實(shí)現(xiàn)的方式通常有 2 種：

• mmap + write

• sendfile

下面就談一談，它們是如何減少「上下文切換」和「數(shù)據(jù)拷貝」的次數(shù)。

mmap + write

在前面我們知道，read()?系統(tǒng)調(diào)用的過(guò)程中會(huì)把內(nèi)核緩沖區(qū)的數(shù)據(jù)拷貝到用戶的緩沖區(qū)里，于是為了減少這一步開(kāi)銷，我們可以用?mmap()?替換?read()?系統(tǒng)調(diào)用函數(shù)。

buf?=?mmap(file,?len);
write(sockfd,?buf,?len);

mmap()?系統(tǒng)調(diào)用函數(shù)會(huì)直接把內(nèi)核緩沖區(qū)里的數(shù)據(jù)「映射」到用戶空間，這樣，操作系統(tǒng)內(nèi)核與用戶空間就不需要再進(jìn)行任何的數(shù)據(jù)拷貝操作。

具體過(guò)程如下：

• 應(yīng)用進(jìn)程調(diào)用了?mmap()?后，DMA 會(huì)把磁盤的數(shù)據(jù)拷貝到內(nèi)核的緩沖區(qū)里。接著，應(yīng)用進(jìn)程跟操作系統(tǒng)內(nèi)核「共享」這個(gè)緩沖區(qū)；

• 應(yīng)用進(jìn)程再調(diào)用?write()，操作系統(tǒng)直接將內(nèi)核緩沖區(qū)的數(shù)據(jù)拷貝到 socket 緩沖區(qū)中，這一切都發(fā)生在內(nèi)核態(tài)，由 CPU 來(lái)搬運(yùn)數(shù)據(jù)；

• 最后，把內(nèi)核的 socket 緩沖區(qū)里的數(shù)據(jù)，拷貝到網(wǎng)卡的緩沖區(qū)里，這個(gè)過(guò)程是由 DMA 搬運(yùn)的。

我們可以得知，通過(guò)使用?mmap()?來(lái)代替?read()， 可以減少一次數(shù)據(jù)拷貝的過(guò)程。

但這還不是最理想的零拷貝，因?yàn)槿匀恍枰ㄟ^(guò) CPU 把內(nèi)核緩沖區(qū)的數(shù)據(jù)拷貝到 socket 緩沖區(qū)里，而且仍然需要 4 次上下文切換，因?yàn)橄到y(tǒng)調(diào)用還是 2 次。

sendfile

在 Linux 內(nèi)核版本 2.1 中，提供了一個(gè)專門發(fā)送文件的系統(tǒng)調(diào)用函數(shù)?sendfile()，函數(shù)形式如下：

#include?
ssize_t?sendfile(int?out_fd,?int?in_fd,?off_t?*offset,?size_t?count);

它的前兩個(gè)參數(shù)分別是目的端和源端的文件描述符，后面兩個(gè)參數(shù)是源端的偏移量和復(fù)制數(shù)據(jù)的長(zhǎng)度，返回值是實(shí)際復(fù)制數(shù)據(jù)的長(zhǎng)度。

首先，它可以替代前面的?read()?和?write()?這兩個(gè)系統(tǒng)調(diào)用，這樣就可以減少一次系統(tǒng)調(diào)用，也就減少了 2 次上下文切換的開(kāi)銷。

其次，該系統(tǒng)調(diào)用，可以直接把內(nèi)核緩沖區(qū)里的數(shù)據(jù)拷貝到 socket 緩沖區(qū)里，不再拷貝到用戶態(tài)，這樣就只有 2 次上下文切換，和 3 次數(shù)據(jù)拷貝。如下圖：

但是這還不是真正的零拷貝技術(shù)，如果網(wǎng)卡支持 SG-DMA（The Scatter-Gather Direct Memory Access）技術(shù)（和普通的 DMA 有所不同），我們可以進(jìn)一步減少通過(guò) CPU 把內(nèi)核緩沖區(qū)里的數(shù)據(jù)拷貝到 socket 緩沖區(qū)的過(guò)程。

你可以在你的 Linux 系統(tǒng)通過(guò)下面這個(gè)命令，查看網(wǎng)卡是否支持 scatter-gather 特性：

$?ethtool?-k?eth0?|?grep?scatter-gather
scatter-gather:?on

于是，從 Linux 內(nèi)核?2.4?版本開(kāi)始起，對(duì)于支持網(wǎng)卡支持 SG-DMA 技術(shù)的情況下，?sendfile()?系統(tǒng)調(diào)用的過(guò)程發(fā)生了點(diǎn)變化，具體過(guò)程如下：

• 第一步，通過(guò) DMA 將磁盤上的數(shù)據(jù)拷貝到內(nèi)核緩沖區(qū)里；

• 第二步，緩沖區(qū)描述符和數(shù)據(jù)長(zhǎng)度傳到 socket 緩沖區(qū)，這樣網(wǎng)卡的 SG-DMA 控制器就可以直接將內(nèi)核緩存中的數(shù)據(jù)拷貝到網(wǎng)卡的緩沖區(qū)里，此過(guò)程不需要將數(shù)據(jù)從操作系統(tǒng)內(nèi)核緩沖區(qū)拷貝到 socket 緩沖區(qū)中，這樣就減少了一次數(shù)據(jù)拷貝；

所以，這個(gè)過(guò)程之中，只進(jìn)行了 2 次數(shù)據(jù)拷貝，如下圖：

這就是所謂的零拷貝（Zero-copy）技術(shù)，因?yàn)槲覀儧](méi)有在內(nèi)存層面去拷貝數(shù)據(jù)，也就是說(shuō)全程沒(méi)有通過(guò) CPU 來(lái)搬運(yùn)數(shù)據(jù)，所有的數(shù)據(jù)都是通過(guò) DMA 來(lái)進(jìn)行傳輸?shù)摹?/strong>

@Overridepublic?
long?transferFrom(FileChannel?fileChannel,?long?position,?long?count)?throws?IOException?{?
????return?fileChannel.transferTo(position,?count,?socketChannel);
}

http?{
...
????sendfile?on
...
}

location?/video/?{?
????sendfile?on;?
????aio?on;?
????directio?1024m;?
}