近幾年，隨著云計算、5G、人工智能等新技術的迅速發(fā)展和落地，產(chǎn)生了海量的數(shù)據(jù)，且大部分為非結構化數(shù)據(jù)。IDC 預測，到 2025 年，全球產(chǎn)生的數(shù)據(jù)量將會增長到 175ZB，其中，超過 80%的數(shù)據(jù)都會是處理難度較大的非結構化數(shù)據(jù)。在非結構化數(shù)據(jù)指數(shù)級增長的推動下，分布式存儲市場也將迎來持續(xù)高速發(fā)展，預計2024年市場空間將達到171億。

分布式存儲將在存儲領域逐漸占主導地位，分布式存儲在技術上有哪些發(fā)展趨勢?本文將從介質層/架構層/網(wǎng)絡層和應用層四個層面來展望分布式存儲的未來發(fā)展趨勢。

介質層

分布式存儲集群性能的提升首先取決于存儲節(jié)點本身性能的提升。隨著NAND Flash技術的進步、NVMe協(xié)議的迭代，SSD 作為一種全新的閃存介質開始進入企業(yè)的數(shù)據(jù)中心，并逐漸成為應用的主流。從性能上來說， NVMe SSD 的IOPS性能是傳統(tǒng)機械硬盤的3500倍，帶寬可達到3.2GB/s，延遲縮短到0.02ms。

在存儲性能委員會(SPC)的 SPC-1 基準下對全閃存儲性能進行測試，測試發(fā)現(xiàn)全閃存存儲基礎性能提升了500%;數(shù)據(jù)庫場景下，業(yè)務性能提升了700%;云桌面場景下，在 Word/PowerPoint/Excel 應用測試中，啟動響應時間縮短 80%。充分體現(xiàn)了全閃存儲產(chǎn)品優(yōu)異的性能。

另外在全球存儲市場中，由于閃存成本不斷下降，全閃存儲份額快速增加，目前市場占比已經(jīng)超過20%，根據(jù)第三方機構Wikibon的預測，2026年SSD單TB成本將低于HDD。2025年后，HDD的出貨量將每年下降27%，只應用于擴容和歸檔等少數(shù)場景。

新華三分布式存儲系列X10828能夠支持28塊NVMe SSD配置的全閃存節(jié)點，單節(jié)點帶寬可高達20GB/s，單節(jié)點IOPS大文件小IO模型下可高達225W，小文件小IO模型下可高達42.7W。X10828全閃存儲能夠滿足企業(yè)核心業(yè)務對存儲的高 IOPS、低延遲的要求。

架構層

隨著傳統(tǒng)應用、云原生應用和AI技術等上層應用的發(fā)展驅動，ICT技術與各類應用正在加速融合。融合過程中一方面是因為各個業(yè)務對數(shù)據(jù)響應的要求不盡相同，另一方面是因為業(yè)務的數(shù)據(jù)類型越來越復雜多樣，業(yè)務數(shù)據(jù)存儲和管理帶來更多混合負載需求。

目前，分布式存儲架構正向面向支撐虛擬化、數(shù)據(jù)湖、AI和云原生等多混合負載的融合架構方向逐漸演進。不同于傳統(tǒng)應用對存儲一對一的采購模式，混合型應用負載對分布式存儲設備提出更高的要求，需要單套存儲同時承載企業(yè)多類型混合業(yè)務負載，支撐不同類型、不同級別的應用，并要求分布式存儲能夠提供更高的性能來面對混合業(yè)務負載的I/O多樣性(比如大文件大I/O、大文件小I/O等)，使其作為可靠性存儲底座為上層混合業(yè)務做有效支撐。

新華三全自研 UniStor X10000存儲可支持塊、文件、對象與大數(shù)據(jù)存儲，采用全分布式融合架構，支持HDFS/Swift/iSCSI/文件/CSI等接口，作為可靠的存儲底座為上層混合業(yè)務做有效支撐的同時，為存儲系統(tǒng)的高性能、高擴展、安全可靠、自動化運維提供了有力保證。

網(wǎng)絡層

NVMe-oF存儲網(wǎng)絡協(xié)議

相對于機械硬盤，全閃的存儲性能已經(jīng)有了近百倍提升，但是服務器到交換機、存儲之間的網(wǎng)絡協(xié)議卻成為數(shù)據(jù)中心新性能提升的瓶頸，限制其潛力的釋放。為了應對這種情況，2016年標準化組織推出NVMe-oF (NVMe over Fabric)。

在NVMe 協(xié)議發(fā)布之初，其僅可在服務器內部的 PCIe 總線上進行數(shù)據(jù)傳輸，無法實現(xiàn)跨節(jié)點的數(shù)據(jù)交互，NVMe-oF主要目的是將服務器連接到遠程NVMe設備，并允許它們像直接插入到PCle總線一樣進行通信，實現(xiàn)高性能的存儲設備網(wǎng)絡共享訪問。

RDMA 是承載 NVMe-oF的原生網(wǎng)絡協(xié)議，主要包括 RoCE、IB(InfiniBand)和 iWARP(Internet Wide Area RDMA Protocol)。NVMe over RDMA 協(xié)議比較簡單，直接把 NVMe 的 IO 隊列映射到 RDMA QP(Queue Pair)連接，通過 RDMA SEND，RDMA WRITE，RDMA READ 三個語義實現(xiàn) IO 交互。當前在數(shù)據(jù)中心領域中RoCE的應用已經(jīng)得到絕大部分用戶的認可，性能上來看采用NVMe over RDMA構建的網(wǎng)絡其性能和時延可以媲美直連存儲。

NVMe-oF集成現(xiàn)有的NVMe和高速低延遲傳輸網(wǎng)絡的技術，可極大的釋放數(shù)據(jù)中心端到端NVMe性能，能夠更好地滿足未來通用大規(guī)模和高性能大型數(shù)據(jù)中心建設需求。

結合全閃存分布式存儲X10828和NVMe-oF高性能網(wǎng)絡存儲方案，新華三可提供一整套整合的高速分布式存儲系統(tǒng)的全棧式解決方案，非常適應于針對性能要求苛刻的大規(guī)模存儲集群的應用場景。

DPU

在云服務中，DPU 可以為虛擬機或裸金屬提供存儲加速功能，通過軟硬件結合方式實現(xiàn)存儲系統(tǒng)的卸載，靈活實現(xiàn)高存儲 IOPS 性能和低主機 CPU 占用率的要求。存儲系統(tǒng)卸載在 DPU 上完成的主要工作為：存儲接口的卸載和存儲網(wǎng)絡協(xié)議棧加速。

在存儲接口方面：DPU 實現(xiàn)存儲接口的卸載主要方式為在 DPU 上為虛擬機、裸機、容器提供一致的 virtio-blk/NVMe 虛擬塊設備后端，主機中加載標準virtio-blk或NVMe驅動即可實現(xiàn)塊存儲的讀寫，無需額外的廠商專用驅動。

存儲網(wǎng)絡協(xié)議方面，在 DPU 上實現(xiàn) NVMe-oF 協(xié)議棧的卸載加速，可以在計算節(jié)點提供原生NVMe 的后端存儲接口，通過高性能的 RDMA 網(wǎng)絡協(xié)議(如 RoCEv2)連接到存儲端，在存儲節(jié)點使用 DPU 硬件實現(xiàn)的 NVMe Target 管理 NVMe SSD，整個存儲網(wǎng)絡傳輸端到端 bypass 主機 CPU，并且沒有任何的協(xié)議轉換消耗，為云主機提供了與本地 NVMe 性能接近的高性能彈性遠端存儲。

目前，新華三聯(lián)合合作伙伴在DPU、NVMe-oF等方面展開合作，在RoCE上打造一套便捷高效的無損以太網(wǎng)解決方案，為數(shù)據(jù)中心用戶帶來更大的價值。

應用層

積極迎接云化

在過去的30年中，業(yè)務系統(tǒng)的運行環(huán)境經(jīng)歷了巨大的變化。物理機時代，運維人員手動配置存儲系統(tǒng)和部署業(yè)務系統(tǒng)，業(yè)務上線以周為單位。而在云原生時代，每分鐘都可能發(fā)布新的應用版本，每天都可能有大量的業(yè)務要上線。這意味著，云原生時代的存儲系統(tǒng)，除了要滿足性能、穩(wěn)定性、可靠性的要求以外，還要滿足業(yè)務系統(tǒng)對敏捷性的要求，能夠通過統(tǒng)一的編排系統(tǒng)配合業(yè)務上線，并可實現(xiàn)快速擴容。

在容器技術剛出現(xiàn)時，企業(yè)一般在容器運行web服務類的無狀態(tài)的應用，因為無狀態(tài)應用不需要持久化數(shù)據(jù)。根據(jù)CNCF 2021年調研報告顯示，近8成的客戶希望在容器上運行有狀態(tài)應用，比如數(shù)據(jù)庫，中間件等。為了滿足用戶的業(yè)務需求，2018年，CNCF發(fā)布了容器存儲接口：CSI。CSI把容器存儲進行抽象，通過標準接口的形式把存儲部分移到容器編排系統(tǒng)外部。各存儲廠商按照接口標準開發(fā)CSI插件，獨立發(fā)布，快速滿足容器存儲需求。

新華三全自研 UniStor X10000存儲可實現(xiàn)無需改造上層應用即可通過CSI接口完成存儲資源與上層應用對接，為上層有狀態(tài)應用提供持久化數(shù)據(jù)存儲能力。

存算分離架構

隨著非結構化數(shù)據(jù)存儲量大大增加，各個企業(yè)逐漸形成自己的“數(shù)據(jù)湖”，湖中存儲企業(yè)內海量的、多來源，多種類的數(shù)據(jù)，并支持對數(shù)據(jù)進行快速加工和分析。目前從實現(xiàn)方式來看，Hadoop是最常用的部署數(shù)據(jù)湖的技術，根據(jù)Gartner研究數(shù)據(jù)表明，在數(shù)據(jù)湖場景下，Hadoop的部署和需求仍然很大并且正在增長。

但是Hadoop為大數(shù)據(jù)分析帶來便利的同時，也面臨著一些挑戰(zhàn)。

NameNode是HDFS中的管理者，主要負責文件系統(tǒng)的命名空間、集群配置信息和數(shù)據(jù)塊的復制。在運行時，HDFS的元數(shù)據(jù)信息必須存儲在NameNode的內存中，如果針對大型集群來說，NameNode內存存儲空間將成為限制系統(tǒng)橫向擴展的瓶頸。另外，一旦NameNode宕機，整個存儲系統(tǒng)將會無法工作，雖然Hadoop引入Secondary NameNode作為HA，但是故障切換時間一般幾十秒到數(shù)分鐘，這是很多企業(yè)所無法接受的。

在傳統(tǒng)的Hadoop集群系統(tǒng)中，計算和存儲資源是緊密耦合的。在發(fā)展到一定階段的時，整體集群中的資源需求會打破原來存儲計算之間的比例平衡，造成某一類資源的利用率無法提升。比如：企業(yè)內部的數(shù)據(jù)量在1年的時間內上漲到原來10倍，而計算資源需求只上漲到原來4倍，數(shù)據(jù)存儲量需求明顯比計算資源增長快，這時，如果繼續(xù)采用存算一體化的架構則意味著要滿足存儲資源增長的同時，計算資源也會增長10倍，那么計算資源會存在過剩的情況。

因此，隨著企業(yè)業(yè)務數(shù)據(jù)不斷增長和技術框架的不斷革新，可以對集群適當做一些存儲和計算的拆分，一方面可以提升集群的穩(wěn)定性和性能，另一方面，可以降低整體的成本，達到降本增效的效果。

總之，隨著AI、大數(shù)據(jù)、5G等高科技的快速發(fā)展和迫切需求的落地，可以預見，分布式存儲在未來將會有爆發(fā)式的增長，將創(chuàng)造億萬級的數(shù)據(jù)財富。