【性能優(yōu)化】高效內(nèi)存池的設(shè)計與實現(xiàn)
[導讀]在之前的文章中，分析了glibc內(nèi)存管理相關(guān)的內(nèi)容，里面的是不是邏輯復雜，畢竟咱們用幾十行代碼完成的功能，glibc要用上百乃至上千行代碼來實現(xiàn)，畢竟它的受眾太多了，需要考慮跨平臺，各種邊界條件等。其實，glibc的內(nèi)存分配庫ptmalloc也可以看做是一個內(nèi)存池，出于性能考慮，...
在之前的文章中，分析了glibc內(nèi)存管理相關(guān)的內(nèi)容，里面的是不是邏輯復雜，畢竟咱們用幾十行代碼完成的功能，glibc要用上百乃至上千行代碼來實現(xiàn)，畢竟它的受眾太多了，需要考慮跨平臺，各種邊界條件等。其實，glibc的內(nèi)存分配庫ptmalloc也可以看做是一個內(nèi)存池，出于性能考慮，每次內(nèi)存申請都是先從ptmalloc中進行分配，如果沒有合適的則通過系統(tǒng)分配函數(shù)進行申請；在釋放的時候，也是將被釋放內(nèi)存先方式內(nèi)存池中，內(nèi)存池根據(jù)一定的策略，來決定是否進行shrink以歸還OS。那么，現(xiàn)一個內(nèi)存池？我們該怎么實現(xiàn)呢？今天，借助這篇文章，我們一起來設(shè)計和實現(xiàn)一個內(nèi)存池(文末附有g(shù)ithub地址)。內(nèi)存分配 內(nèi)存池結(jié)構(gòu)圖 MemoryBlock
背景
首先需要說明的是，該內(nèi)存池是筆者在10年前完成的，下面先說下當時此項目的背景。09年，在某所的時候，參與了某個國家級項目，該項目是防DDOS攻擊相關(guān)，因此更多的是跟IP相關(guān)，所以每次分配和釋放內(nèi)存都是固定大小，經(jīng)過測試，性能不是很滿意，所以，經(jīng)過代碼分析以及性能攻擊分析，發(fā)現(xiàn)里面有大量的malloc/free，所以，當時就決定是否從malloc/free入手，能否優(yōu)化整個項目的性能。所以，決定實現(xiàn)一個Memory Pool，在做了調(diào)研以及研究了相關(guān)論文后，決定實現(xiàn)一個內(nèi)存池，先試試水，所幸運的是，性能確實比glibc自帶的malloc/free要高，所以也就應用于項目上了。?本文所講的Memory Pool為C語言實現(xiàn)，旨在讓大家都能看懂，看明白(至少能夠完全理解本文所講的Memory Pool的實現(xiàn)原理)。?
概念
首先，我們介紹下什么是內(nèi)存池？?預先在內(nèi)存中申請一定數(shù)量的內(nèi)存塊留作備用，當有新的內(nèi)存需求時，就先從內(nèi)存池中分配內(nèi)存返回，在釋放的時候，將內(nèi)存返回給內(nèi)存池而不是OS，在下次申請的時候，重新進行分配?那么為什么要有內(nèi)存池呢？這就需要從傳統(tǒng)內(nèi)存分配的特點來進行分析，傳統(tǒng)內(nèi)存分配釋放的優(yōu)點無非就是 通用性強，應用廣泛，但是傳統(tǒng)的內(nèi)存分配、釋放在某些特定的項目中，其不一定是最優(yōu)、效率最高的方案。傳統(tǒng)內(nèi)存分配、釋放的缺點總結(jié)如下：1、調(diào)用malloc/new,系統(tǒng)需要根據(jù)“最先匹配”、“最優(yōu)匹配”或其他算法在內(nèi)存空閑塊表中查找一塊空閑內(nèi)存，調(diào)用free/delete,系統(tǒng)可能需要合并空閑內(nèi)存塊，這些會產(chǎn)生額外開銷2、頻繁的在堆上申請和釋放內(nèi)存必然需要大量時間，降低了程序的運行效率。對于一個需要頻繁申請和釋放內(nèi)存的程序來說，頻繁調(diào)用new/malloc申請內(nèi)存，delete/free釋放內(nèi)存都需要花費系統(tǒng)時間，頻繁的調(diào)用必然會降低程序的運行效率。3、經(jīng)常申請小塊內(nèi)存，會將物理內(nèi)存“切”得很碎，導致內(nèi)存碎片。申請內(nèi)存的順序并不是釋放內(nèi)存的順序，因此頻繁申請小塊內(nèi)存必然會導致內(nèi)存碎片，造成“有內(nèi)存但是申請不到大塊內(nèi)存”的現(xiàn)象。
分類
根據(jù)分配出去的字節(jié)大小是否固定，分為 固定大小內(nèi)存池 和 可變大小內(nèi)存池 兩類。而可變大小內(nèi)存池，可分配任意大小的內(nèi)存池，比如ptmalloc、jemalloc以及google的tcmalloc。?本文主要講的是固定大小的內(nèi)存池。?
原理
內(nèi)存池，重點在”池“字上，之所以稱之為內(nèi)存池，是在真正使用之前，先預分配一定數(shù)量、大小預設(shè)的塊，如果有新的內(nèi)存需求時候，就從內(nèi)存池中根據(jù)申請的內(nèi)存大小，分配一個內(nèi)存塊，若當前內(nèi)存塊已經(jīng)被完全分配出去，則繼續(xù)申請一大塊，然后進行分配。當進行內(nèi)存塊釋放的時候，則將其歸還內(nèi)存池，后面如果再有申請的話，則將其重新分配出去。- 創(chuàng)建并初始化頭結(jié)點MemoryPool
- 通過MemoryPool進行內(nèi)存分配，如果發(fā)現(xiàn)MemoryPool所指向的第一塊MemoryBlock或者現(xiàn)有MemoryPool沒有空閑內(nèi)存塊，則創(chuàng)建一個新的MemoryBlock初始化之后將其插入MemoryPool的頭
- 在內(nèi)存分配的時候，遍歷MemoryPool中的單鏈表MemoryBlock，根據(jù)地址判斷所要釋放的內(nèi)存屬于哪個MemoryBlock，然后根據(jù)偏移設(shè)置MemoryBlock的第一塊空閑塊索引，同時將空閑塊個數(shù) 1
設(shè)計
在上圖中，我們畫出了內(nèi)存池的結(jié)構(gòu)圖，從圖中，可以看出，有兩個結(jié)構(gòu)變量，分別為MemoryPool和MemoryBlock。下面我們將從數(shù)據(jù)結(jié)構(gòu)和接口兩個部分出發(fā)，詳細講解內(nèi)存池的設(shè)計。數(shù)據(jù)結(jié)構(gòu)
MemoryBlock
本文中所講述的內(nèi)存塊的分配和釋放都是通過該結(jié)構(gòu)進行操作，下面是MemoryBlock的示例圖：struct?MemoryBlock?{
?unsigned?int?size;
?unsigned?int?free_size;
?unsigned?int?first_free;
?struct?MemoryBlock?*next;
?char?a_data[0];?
};
其中：- size為MemoryBlock下內(nèi)存塊的個數(shù)
- free_size為MemoryBlock下空閑內(nèi)存塊的個數(shù)
- first_free為MemoryBlock中第一個空閑塊的索引
- next指向下一個MemoryBlock
- a_data是一個柔性數(shù)組
?柔性數(shù)組即數(shù)組大小待定的數(shù)組， C語言中結(jié)構(gòu)體的最后一個元素可以是大小未知的數(shù)組，也就是所謂的0長度，所以我們可以用結(jié)構(gòu)體來創(chuàng)建柔性數(shù)組。它的主要用途是為了滿足需要變長度的結(jié)構(gòu)體，為了解決使用數(shù)組時內(nèi)存的冗余和數(shù)組的越界問題。?
MemoryPool
MemoryPool為內(nèi)存池的頭，里面定義了該內(nèi)存池的信息，比如本內(nèi)存池分配的固定對象的大小，第一個MemoryBlock等struct?MemoryPool?{
?unsigned?int?obj_size;
?unsigned?int?init_size;
?unsigned?int?grow_size;
?MemoryBlock?*first_block;
};
其中：- obj_size為內(nèi)存池分配的固定內(nèi)存塊的大小
- init_size初始化內(nèi)存池時候創(chuàng)建的內(nèi)存塊的個數(shù)
- grow_size當初始化內(nèi)存塊使用完后，再次申請內(nèi)存塊時候的個數(shù)
- first_block指向第一個MemoryBlock
接口
memory_pool_create
MemoryPool?*memory_pool_create(unsigned?int?init_size,?
???????????????????????????????unsigned?int?grow_size,?
???????????????????????????????unsigned?int?size);
本函數(shù)用來創(chuàng)建一個MemoryPool，并對其進行初始化，下面是參數(shù)說明：- init_size 表示第一個MemoryBlock中創(chuàng)建塊的個數(shù)
- grow_size 表示當MemoryPool中沒有空閑塊可用，則創(chuàng)建一個新的MemoryBlock時其塊的個數(shù)
- size 為塊的大小(即每次分配相同大小的固定size)
memory_alloc
void?*memory_alloc(MemoryPool?*mp);
本函數(shù)用了從mp中申請一塊內(nèi)存返回- mp 為MemoryPool類型指針，即內(nèi)存池的頭
- 如果內(nèi)存分配失敗，則返回NULL
memory_free
?void*?memory_free(MemoryPool?*mp,?void?*pfree);
本函數(shù)用來釋放內(nèi)存- mp 為MemoryPool類型指針，即內(nèi)存池的頭
- pfree 為要釋放的內(nèi)存
free_memory_pool
void?free_memory_pool(MemoryPool?*mp);
本函數(shù)用來釋放內(nèi)存池實現(xiàn)
在講解整個實現(xiàn)之前，我們先看先內(nèi)存池的詳細結(jié)構(gòu)圖。初始化內(nèi)存池
MemoryPool是整個內(nèi)存池的入口結(jié)構(gòu)，該函數(shù)主要是用來創(chuàng)建MemoryPool對象，并使用參數(shù)對其內(nèi)部的成員變量進行初始化。函數(shù)定義如下:MemoryPool?*memory_pool_create(unsigned?int?init_size,?unsigned?int?grow_size,?unsigned?int?size)
{
?MemoryPool?*mp;
?mp?=?(MemoryPool*)malloc(sizeof(MemoryPool));
?mp->first_block?=?NULL;
?mp->init_size?=?init_size;
?mp->grow_size?=?grow_size;
?if(size?sizeof(unsigned?int))
??mp->obj_size?=?sizeof(unsigned?int);
?mp->obj_size?=?(size? ?(MEMPOOL_ALIGNMENT-1))? 
下載文檔
