[導(dǎo)讀]時光荏苒，經(jīng)歷了長時間的高速發(fā)展，今日IT系統(tǒng)架構(gòu)相對20年前早已有了翻天覆地的變化。云化的架構(gòu)、更海量的計(jì)算、按TB來算的內(nèi)存、發(fā)生質(zhì)變的存儲……一切的一切都讓現(xiàn)在的企業(yè)有了贏戰(zhàn)數(shù)字化、智能化的資本。但伴隨ICT產(chǎn)品技術(shù)的不斷進(jìn)化，很多消失已久的問題卻似乎再次浮現(xiàn)。算力多樣化帶...
時光荏苒，經(jīng)歷了長時間的高速發(fā)展，今日IT系統(tǒng)架構(gòu)相對20年前早已有了翻天覆地的變化。云化的架構(gòu)、更海量的計(jì)算、按TB來算的內(nèi)存、發(fā)生質(zhì)變的存儲……一切的一切都讓現(xiàn)在的企業(yè)有了贏戰(zhàn)數(shù)字化、智能化的資本。但伴隨ICT產(chǎn)品技術(shù)的不斷進(jìn)化，很多消失已久的問題卻似乎再次浮現(xiàn)。
算力多樣化帶來的隱憂數(shù)字時代，算力無處不在。但與此同時，出于性能、效率、能耗、成本等方面的考量，算力的類型也開始變得多樣化；不同架構(gòu)的CPU、GPU、FPGA和ASIC都開始發(fā)揮自身特長，在不同的場景中為用戶貢獻(xiàn)算力。但在算力多樣化成為趨勢的同時，算力的快速分化也造成了管理、應(yīng)用開發(fā)等方面的問題。
面對不同硬件產(chǎn)品天差地別的特性，軟件開發(fā)者必須首先了解硬件平臺和指令集的相關(guān)特性，并在開發(fā)過程中針對性的配置開發(fā)環(huán)境、使用不同開發(fā)工具和語言、進(jìn)行不同方式的優(yōu)化。而這不僅造成了開發(fā)周期周期變長、開發(fā)人才短缺，更對開發(fā)成本、開發(fā)流程和軟件本身的質(zhì)量帶來了負(fù)面影響。對于很多軟件企業(yè)來說，今天的情況一如20年前開發(fā)者在面對RISC與x86、UNIX與Linux時一樣。
從硬件架構(gòu)的長期發(fā)展趨勢來看，算力的多樣化是無法避免的。那么，除了配置能力更豐富的開發(fā)人員之外，軟件企業(yè)還有其他選擇嗎？
善于總結(jié)的人不會在同一條河里翻船，在面對算力多樣化時，今天的開發(fā)者也有更好的選擇——北冥多樣性計(jì)算融合架構(gòu)！
一個架構(gòu)，搞定多樣算力的開發(fā)作為國內(nèi)ICT行業(yè)的頂尖企業(yè)，華為不僅具備強(qiáng)大的設(shè)備制造和方案整合能力，更擁有從半導(dǎo)體層面入手，構(gòu)建多種算力產(chǎn)品的能力。而鯤鵬系列CPU和昇騰系列AI處理器就是華為最具代表性的處理器產(chǎn)品。
圍繞鯤鵬和昇騰兩大核心，華為先是聯(lián)合伙伴推出了大量硬件產(chǎn)品，而后，更在積極布局和完善其軟件生態(tài)。這其中既包括對應(yīng)的操作系統(tǒng)、固件和SDK，也囊括了對應(yīng)的開發(fā)框架、調(diào)度器、函數(shù)庫、編程語言、編譯器、執(zhí)行引擎、開發(fā)工具等一系列軟件產(chǎn)品。
不過，在不斷推出和更新工具類軟件的同時，華為也意識到，獨(dú)立存在的各類語言和工具很難在面向開發(fā)者的推廣中形成合力，各類工具和框架的部署和集成也比較繁瑣，而生態(tài)碎片化情況的改觀也將變得相對緩慢。因此，在日前舉行的HuaweiConnect2021大會上，華為便將針對鯤鵬和昇騰的各類工具、環(huán)境、框架、編譯器統(tǒng)統(tǒng)整合進(jìn)一個品牌并進(jìn)行系統(tǒng)性的整合及優(yōu)化，而這正是北冥多樣性計(jì)算融合架構(gòu)。
在介紹北冥架構(gòu)時，華為副總裁、計(jì)算產(chǎn)品線總裁鄧泰華表示：北冥架構(gòu)是為多樣性計(jì)算硬件及集群打造的完整軟件棧，可幫助開發(fā)者在多樣算力環(huán)境下，實(shí)現(xiàn)與單機(jī)\同構(gòu)相仿的應(yīng)用開發(fā)、調(diào)試和部署體驗(yàn)，并獲得遠(yuǎn)超單一算力的應(yīng)用性能。
三重發(fā)力，為開發(fā)者解憂在進(jìn)行使用多樣算力的應(yīng)用開發(fā)時，開發(fā)者面臨的挑戰(zhàn)多種多樣：
-
系統(tǒng)從單一算力到多樣性算力；
-
從單機(jī)部署到融合集群部署；
-
從傳統(tǒng)應(yīng)用到融合智能應(yīng)用。
為應(yīng)對這些挑戰(zhàn)，華為將北冥架構(gòu)下的多個模塊劃分為基礎(chǔ)使能、應(yīng)用使能和開發(fā)使能三個部分，分別對應(yīng)了多算力協(xié)同、融合型應(yīng)用的在集群上開發(fā)與調(diào)優(yōu)、開發(fā)工具鏈；而這既是開發(fā)多數(shù)軟件所需的三大要素也是開發(fā)者在面對多樣算力時所感受到的痛點(diǎn)。
01、基礎(chǔ)使能，多算力調(diào)用更簡單
在基礎(chǔ)使能層面，北冥架構(gòu)力求做到通用、生產(chǎn)力和高性能；而這些正是開發(fā)者在面對多樣算力時最頭疼的地方。
首先，華為通過畢昇C 編程語言實(shí)現(xiàn)了多算力情況下的統(tǒng)一編程，讓開發(fā)者能夠通過一種語言、一段源碼就能實(shí)現(xiàn)對不同類型底層算力的充分調(diào)用。具體而言，在算法中經(jīng)常用到的各類標(biāo)量、向量、矩陣、張量計(jì)算及多核并行開發(fā)中，畢昇C 可以屏蔽鯤鵬與x86、昇騰與傳統(tǒng)GPU之間的大部分硬件差異。由此，多樣算力能夠變得透明，開發(fā)者便可以專注于代碼和程序的構(gòu)建，而不是學(xué)習(xí)不同算力之間的差異。這一做法顯然大幅降低了跨算力應(yīng)用的開發(fā)門檻。另一方面，以C 為基礎(chǔ)，開發(fā)人員也可以快速上手并實(shí)現(xiàn)較高的程序執(zhí)行效率。
當(dāng)然，畢昇C 實(shí)現(xiàn)這一效果還需要北冥融合加速庫的支持。AI處理器之所以能夠在特定運(yùn)算中展現(xiàn)出更高的性能，是因?yàn)檫@類處理器在執(zhí)行相關(guān)函數(shù)運(yùn)算時能夠展現(xiàn)出極高的效率。因此，從某種意義上講，AI相關(guān)的應(yīng)用開發(fā)便是對各類硬件優(yōu)化函數(shù)的海量調(diào)用。而有了北冥融合加速庫，畢昇C 便可調(diào)用各類經(jīng)過硬件優(yōu)化的函數(shù)實(shí)現(xiàn)計(jì)算效率的大幅提高，簡化后期的調(diào)試調(diào)優(yōu)工作。
在源碼開發(fā)完成后，用戶還需要對源碼進(jìn)行編譯。以往，不同類型的算力產(chǎn)品往往分屬不同廠牌，而不同廠牌也有自己推薦的編譯器。但對于多算力融合型應(yīng)用來說，由于需要調(diào)用不同類型的算力，所以源碼的不同部分也需要使用不同的編譯器來進(jìn)行編譯。顯然，這樣的傳統(tǒng)編譯方式是復(fù)雜、低效且容易失敗的。而畢昇編譯器則提供鯤鵬、昇騰、x86、GPU等多種算力和指令集支持，讓開發(fā)者能夠通過一次開發(fā)就編譯出不同版本的可執(zhí)行程序，大大提升了開發(fā)效率。
同時，華為提供的鯤鵬DevKit還提供了強(qiáng)大的代碼遷移和調(diào)優(yōu)程序，各類使用JAVA開發(fā)的源碼都可通過該工具方便的遷移至鯤鵬平臺并實(shí)現(xiàn)代碼的自動調(diào)優(yōu)。
經(jīng)過實(shí)際測試，使用畢昇編譯器后，鯤鵬920在SPECCPU2017 INT上能帶來平均25%以上的性能提升。而在WRF等HPC應(yīng)用場景中，使用畢昇編譯器則可以帶來10%的性能提升。
另外，經(jīng)過畢昇編譯器編譯的程序還具備更高的性能。經(jīng)過測試，同一套源碼經(jīng)過畢昇編譯器編譯后，在鯤鵬處理器上的執(zhí)行性能可比常見的GCC編譯器提升25%以上。而在由SPEC推出的專門針對異構(gòu)計(jì)算的SPECACCEL的OpenCL測試提升了30%以上。
02、應(yīng)用使能，融合應(yīng)用集群部署的福音
云時代，很多企業(yè)軟件都需要在數(shù)據(jù)中心內(nèi)進(jìn)行集群部署。在多樣算力參與的情況下，開發(fā)者所面對的并行化、性能和調(diào)度問題將更復(fù)雜、更棘手。而北冥架構(gòu)的眾多應(yīng)用使能特性便是為解決這些問題而生。
在需要CPU算力的部分，元戎分布式并行開發(fā)框架能夠在很大程度上簡化大規(guī)模分布式應(yīng)用的開發(fā)，讓開發(fā)人員能夠像開發(fā)單機(jī)應(yīng)用一樣開發(fā)集群應(yīng)用。通常，開發(fā)者只需幾行代碼就可開啟算法、數(shù)據(jù)和函數(shù)嵌套的并行模式，成倍提高代碼在集群中的執(zhí)行效率。
在實(shí)際的開發(fā)環(huán)境中，通過使用元戎分布式并行開發(fā)框架，華為云視頻RTC服務(wù)的視頻特效功能開發(fā)時間縮短了6倍，硬件資源利用率提升了50%。而在某金融資管風(fēng)控算法當(dāng)中，開發(fā)者只用了三行代碼便完成了算法的分布化、并行化，使執(zhí)行效率獲得了數(shù)十倍的提升。
而在經(jīng)常需要集群參與的AI和HPC應(yīng)用中，昇思科學(xué)計(jì)算套件則通過多尺度混合計(jì)算和高階混合微分兩大關(guān)鍵創(chuàng)新實(shí)現(xiàn)了AI計(jì)算引擎和科學(xué)計(jì)算引擎的統(tǒng)一。同時，昇思科學(xué)計(jì)算套件還集成了包含面向EDA行業(yè)的MindElec、面向生命科學(xué)行業(yè)的MindSPONGE等8大科學(xué)計(jì)算模板的MindScience系列套件，能夠通過預(yù)制的數(shù)據(jù)集、基礎(chǔ)模型、高精度模型、前后處理工具等簡化相關(guān)行業(yè)應(yīng)用的開發(fā)，提升計(jì)算效率。
而對于需要用到多種算力的融合性應(yīng)用，北冥架構(gòu)中的多瑙統(tǒng)一調(diào)度器2.0則能夠?qū)崿F(xiàn)CPU、AI處理器（GPU）存儲、網(wǎng)絡(luò)、能耗管理等集群特性的統(tǒng)一調(diào)度、統(tǒng)一管理，進(jìn)一步提升集群系統(tǒng)的使用效率。
03、開發(fā)使能，全流程一站式開發(fā)
任何軟件的工業(yè)化開發(fā)都需要使用大量的開發(fā)工具和嚴(yán)謹(jǐn)?shù)牧鞒碳肮芾?。如何?qiáng)化管理并提升工具鏈和流程的效率是軟件企業(yè)提升競爭力的關(guān)鍵。不過，在多樣算力的情況下，面向不同算力的開發(fā)需要使用不同的集成開發(fā)環(huán)境，也需要不同的工具鏈來完成開發(fā)流程定義、優(yōu)化、調(diào)試等工作。因此，面向多樣算力的軟件開發(fā)也就變得異常復(fù)雜，開發(fā)效率提升困難重重。而為解決軟件企業(yè)的這些痛點(diǎn)，華為還在北冥架構(gòu)中集成了MindStudio多樣性計(jì)算統(tǒng)一工具鏈。
MindStudio自帶多樣算力硬件抽象功能，可通過統(tǒng)一基礎(chǔ)平臺做到底層透明，屏蔽不同算力硬件之間的巨大差異。同時，MindStudio的統(tǒng)一基礎(chǔ)平臺還能做到各類新功能的靈活添加、即插即用，讓新算力、新功能的擴(kuò)展變得異常簡單。MindStudio統(tǒng)一基礎(chǔ)平臺通過API與上層開發(fā)工具進(jìn)行對接，能夠極大的簡化工具鏈和相關(guān)開發(fā)流程的構(gòu)建。
而在工具鏈的前段，MindStudio還提供了工程框架、專家系統(tǒng)、功能插件、調(diào)試和調(diào)優(yōu)、工程管理、語言引擎、調(diào)測組件等一系列實(shí)用工具，讓企業(yè)通過一套工具鏈就滿足軟件開發(fā)所需的全部功能，簡化了鯤鵬、昇騰等多樣算力的開發(fā)門檻，讓企業(yè)能夠?qū)Ｗ⒂诖a和開發(fā)本身。
與此同時，北冥架構(gòu)中的MindStudio還可以通過插件與華為云上的DevOps平臺連接，實(shí)現(xiàn)針對多算力的完整DevOps功能。
為多樣算力賦予越動靈魂20年前，眾多硬件架構(gòu)的并行造成了軟件生態(tài)的極大分裂，既限制了用戶，也限制了行業(yè)的發(fā)展。隨后的x86大一統(tǒng)從底層解決了這一問題，并促成了過去10年ICT市場的空前繁榮。但在算力多樣化趨勢之下，硬件架構(gòu)的多樣性又再次限制了軟件和應(yīng)用市場的發(fā)展。不過，這一次，以華為為代表的企業(yè)早已未雨綢繆，為跨算力應(yīng)用的開發(fā)、測試和部署鋪平了道路。
北冥架構(gòu)的出現(xiàn)，不僅抹平了不同算力之間的架構(gòu)鴻溝，更為多樣算力的進(jìn)一步發(fā)展提了供參考。而作為行業(yè)內(nèi)極少數(shù)能夠同時提供多種算力方案的企業(yè)，北冥架構(gòu)的推出也代表華為對技術(shù)應(yīng)用和軟件開發(fā)的極端看重。由此，以鯤鵬和昇騰為代表的華為算力產(chǎn)品也實(shí)現(xiàn)了對用戶和開發(fā)者的雙向友好。
硬件是軀體、軟件是靈魂。而華為北冥架構(gòu)的出現(xiàn)，則為鯤鵬、昇騰乃至整個算力生態(tài)的迸發(fā)鋪平了道路。
【IT葡萄皮】（公眾號：itopics）由資深媒體人張垞運(yùn)營。從業(yè)十二年的深度觀察，只為一篇不吐不快的科技評論。
本站聲明： 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布，目的在于傳遞更多信息，并不代表本站贊同其觀點(diǎn)，本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者，如若文章內(nèi)容侵犯您的權(quán)益，請及時聯(lián)系本站刪除（ 郵箱：macysun@21ic.com ）。
下載文檔
