在開(kāi)始今天的文章之前，我先來(lái)請(qǐng)大家思考幾個(gè)小問(wèn)題。

• 問(wèn)1：我們?cè)诓榭磧?nèi)核發(fā)送數(shù)據(jù)消耗的 CPU 時(shí)，是應(yīng)該看 sy 還是 si ？
• 問(wèn)2：為什么你服務(wù)器上的 /proc/softirqs 里 NET_RX 要比 NET_TX 大的多的多？
• 問(wèn)3：發(fā)送網(wǎng)絡(luò)數(shù)據(jù)的時(shí)候都涉及到哪些內(nèi)存拷貝操作？

這些問(wèn)題雖然在線上經(jīng)?？吹?，但我們似乎很少去深究。如果真的能透徹地把這些問(wèn)題理解到位，我們對(duì)性能的掌控能力將會(huì)變得更強(qiáng)。

帶著這三個(gè)問(wèn)題，我們開(kāi)始今天對(duì) Linux 內(nèi)核網(wǎng)絡(luò)發(fā)送過(guò)程的深度剖析。還是按照我們之前的傳統(tǒng)，先從一段簡(jiǎn)單的代碼作為切入。如下代碼是一個(gè)典型服務(wù)器程序的典型的縮微代碼：

int?main(){
?fd?=?socket(AF_INET,?SOCK_STREAM,?0);
?bind(fd,?...);
?listen(fd,?...);

?cfd?=?accept(fd,?...);

?//?接收用戶(hù)請(qǐng)求
?read(cfd,?...);

?//?用戶(hù)請(qǐng)求處理
?dosometing();?

?//?給用戶(hù)返回結(jié)果
?send(cfd,?buf,?sizeof(buf),?0);
}
今天我們來(lái)討論上述代碼中，調(diào)用 send 之后內(nèi)核是怎么樣把數(shù)據(jù)包發(fā)送出去的。本文基于Linux 3.10，網(wǎng)卡驅(qū)動(dòng)采用Intel的igb網(wǎng)卡舉例。

預(yù)警：本文共有一萬(wàn)多字，25 張圖，長(zhǎng)文慎入！

一、Linux 網(wǎng)絡(luò)發(fā)送過(guò)程總覽

我覺(jué)得看 Linux 源碼最重要的是得有整體上的把握，而不是一開(kāi)始就陷入各種細(xì)節(jié)。

我這里先給大家準(zhǔn)備了一個(gè)總的流程圖，簡(jiǎn)單闡述下 send 發(fā)送了的數(shù)據(jù)是如何一步一步被發(fā)送到網(wǎng)卡的。

在這幅圖中，我們看到用戶(hù)數(shù)據(jù)被拷貝到內(nèi)核態(tài)，然后經(jīng)過(guò)協(xié)議棧處理后進(jìn)入到了 RingBuffer 中。隨后網(wǎng)卡驅(qū)動(dòng)真正將數(shù)據(jù)發(fā)送了出去。當(dāng)發(fā)送完成的時(shí)候，是通過(guò)硬中斷來(lái)通知 CPU，然后清理 RingBuffer。

因?yàn)槲恼潞竺嬉M(jìn)入源碼，所以我們?cè)購(gòu)脑创a的角度給出一個(gè)流程圖。

雖然數(shù)據(jù)這時(shí)已經(jīng)發(fā)送完畢，但是其實(shí)還有一件重要的事情沒(méi)有做，那就是釋放緩存隊(duì)列等內(nèi)存。

那內(nèi)核是如何知道什么時(shí)候才能釋放內(nèi)存的呢，當(dāng)然是等網(wǎng)絡(luò)發(fā)送完畢之后。網(wǎng)卡在發(fā)送完畢的時(shí)候，會(huì)給 CPU 發(fā)送一個(gè)硬中斷來(lái)通知 CPU。更完整的流程看圖：

注意，我們今天的主題雖然是發(fā)送數(shù)據(jù)，但是硬中斷最終觸發(fā)的軟中斷卻是 NET_RX_SOFTIRQ，而并不是 NET_TX_SOFTIRQ ?。。。═ 是 transmit 的縮寫(xiě)，R 表示 receive）

意不意外，驚不驚喜？？？

所以這就是開(kāi)篇問(wèn)題 1 的一部分的原因（注意，這只是一部分原因）。

問(wèn)1：在服務(wù)器上查看 /proc/softirqs，為什么 NET_RX 要比 NET_TX 大的多的多？

傳輸完成最終會(huì)觸發(fā) NET_RX，而不是 NET_TX。所以自然你觀測(cè) /proc/softirqs 也就能看到 NET_RX 更多了。

好，現(xiàn)在你已經(jīng)對(duì)內(nèi)核是怎么發(fā)送網(wǎng)絡(luò)包的有一個(gè)全局上的把握了。不要得意，我們需要了解的細(xì)節(jié)才是更有價(jià)值的地方，讓我們繼續(xù)！！

二、網(wǎng)卡啟動(dòng)準(zhǔn)備

現(xiàn)在的服務(wù)器上的網(wǎng)卡一般都是支持多隊(duì)列的。每一個(gè)隊(duì)列上都是由一個(gè) RingBuffer 表示的，開(kāi)啟了多隊(duì)列以后的的網(wǎng)卡就會(huì)對(duì)應(yīng)有多個(gè) RingBuffer。

網(wǎng)卡在啟動(dòng)時(shí)最重要的任務(wù)之一就是分配和初始化 RingBuffer，理解了 RingBuffer 將會(huì)非常有助于后面我們掌握發(fā)送。因?yàn)榻裉斓闹黝}是發(fā)送，所以就以傳輸隊(duì)列為例，我們來(lái)看下網(wǎng)卡啟動(dòng)時(shí)分配 RingBuffer 的實(shí)際過(guò)程。

在網(wǎng)卡啟動(dòng)的時(shí)候，會(huì)調(diào)用到 __igb_open 函數(shù)，RingBuffer 就是在這里分配的。

//file:?drivers/net/ethernet/intel/igb/igb_main.c
static?int?__igb_open(struct?net_device?*netdev,?bool?resuming)
{
?struct?igb_adapter?*adapter?=?netdev_priv(netdev);

?//分配傳輸描述符數(shù)組
?err?=?igb_setup_all_tx_resources(adapter);

?//分配接收描述符數(shù)組
?err?=?igb_setup_all_rx_resources(adapter);

?//開(kāi)啟全部隊(duì)列
?netif_tx_start_all_queues(netdev);
}
在上面 __igb_open 函數(shù)調(diào)用 igb_setup_all_tx_resources 分配所有的傳輸 RingBuffer, 調(diào)用 igb_setup_all_rx_resources 創(chuàng)建所有的接收 RingBuffer。

//file:?drivers/net/ethernet/intel/igb/igb_main.c
static?int?igb_setup_all_tx_resources(struct?igb_adapter?*adapter)
{
?//有幾個(gè)隊(duì)列就構(gòu)造幾個(gè)?RingBuffer
?for?(i?=?0;?i?num_tx_queues;?i )?{
??igb_setup_tx_resources(adapter->tx_ring[i]);
?}
}
真正的 RingBuffer 構(gòu)造過(guò)程是在 igb_setup_tx_resources 中完成的。

//file:?drivers/net/ethernet/intel/igb/igb_main.c
int?igb_setup_tx_resources(struct?igb_ring?*tx_ring)
{
?//1.申請(qǐng)?igb_tx_buffer?數(shù)組內(nèi)存
?size?=?sizeof(struct?igb_tx_buffer)?*?tx_ring->count;
?tx_ring->tx_buffer_info?=?vzalloc(size);

?//2.申請(qǐng)?e1000_adv_tx_desc?DMA?數(shù)組內(nèi)存
?tx_ring->size?=?tx_ring->count?*?sizeof(union?e1000_adv_tx_desc);
?tx_ring->size?=?ALIGN(tx_ring->size,?4096);
?tx_ring->desc?=?dma_alloc_coherent(dev,?tx_ring->size,
????????