時光荏苒，經歷了長時間的高速發(fā)展，今日IT系統(tǒng)架構相對20年前早已有了翻天覆地的變化。云化的架構、更海量的計算、按TB來算的內存、發(fā)生質變的存儲……一切的一切都讓現(xiàn)在的企業(yè)有了贏戰(zhàn)數(shù)字化、智能化的資本。但伴隨ICT產品技術的不斷進化，很多消失已久的問題卻似乎再次浮現(xiàn)。
算力多樣化帶來的隱憂數(shù)字時代，算力無處不在。但與此同時，出于性能、效率、能耗、成本等方面的考量，算力的類型也開始變得多樣化；不同架構的CPU、GPU、FPGA和ASIC都開始發(fā)揮自身特長，在不同的場景中為用戶貢獻算力。但在算力多樣化成為趨勢的同時，算力的快速分化也造成了管理、應用開發(fā)等方面的問題。
面對不同硬件產品天差地別的特性，軟件開發(fā)者必須首先了解硬件平臺和指令集的相關特性，并在開發(fā)過程中針對性的配置開發(fā)環(huán)境、使用不同開發(fā)工具和語言、進行不同方式的優(yōu)化。而這不僅造成了開發(fā)周期周期變長、開發(fā)人才短缺，更對開發(fā)成本、開發(fā)流程和軟件本身的質量帶來了負面影響。對于很多軟件企業(yè)來說，今天的情況一如20年前開發(fā)者在面對RISC與x86、UNIX與Linux時一樣。
從硬件架構的長期發(fā)展趨勢來看，算力的多樣化是無法避免的。那么，除了配置能力更豐富的開發(fā)人員之外，軟件企業(yè)還有其他選擇嗎？
善于總結的人不會在同一條河里翻船，在面對算力多樣化時，今天的開發(fā)者也有更好的選擇——北冥多樣性計算融合架構！
一個架構，搞定多樣算力的開發(fā)作為國內ICT行業(yè)的頂尖企業(yè)，華為不僅具備強大的設備制造和方案整合能力，更擁有從半導體層面入手，構建多種算力產品的能力。而鯤鵬系列CPU和昇騰系列AI處理器就是華為最具代表性的處理器產品。
圍繞鯤鵬和昇騰兩大核心，華為先是聯(lián)合伙伴推出了大量硬件產品，而后，更在積極布局和完善其軟件生態(tài)。這其中既包括對應的操作系統(tǒng)、固件和SDK，也囊括了對應的開發(fā)框架、調度器、函數(shù)庫、編程語言、編譯器、執(zhí)行引擎、開發(fā)工具等一系列軟件產品。
不過，在不斷推出和更新工具類軟件的同時，華為也意識到，獨立存在的各類語言和工具很難在面向開發(fā)者的推廣中形成合力，各類工具和框架的部署和集成也比較繁瑣，而生態(tài)碎片化情況的改觀也將變得相對緩慢。因此，在日前舉行的HuaweiConnect2021大會上，華為便將針對鯤鵬和昇騰的各類工具、環(huán)境、框架、編譯器統(tǒng)統(tǒng)整合進一個品牌并進行系統(tǒng)性的整合及優(yōu)化，而這正是北冥多樣性計算融合架構。
在介紹北冥架構時，華為副總裁、計算產品線總裁鄧泰華表示：北冥架構是為多樣性計算硬件及集群打造的完整軟件棧，可幫助開發(fā)者在多樣算力環(huán)境下，實現(xiàn)與單機\同構相仿的應用開發(fā)、調試和部署體驗，并獲得遠超單一算力的應用性能。
三重發(fā)力，為開發(fā)者解憂在進行使用多樣算力的應用開發(fā)時，開發(fā)者面臨的挑戰(zhàn)多種多樣：
-
系統(tǒng)從單一算力到多樣性算力；
-
從單機部署到融合集群部署；
-
從傳統(tǒng)應用到融合智能應用。
為應對這些挑戰(zhàn)，華為將北冥架構下的多個模塊劃分為基礎使能、應用使能和開發(fā)使能三個部分，分別對應了多算力協(xié)同、融合型應用的在集群上開發(fā)與調優(yōu)、開發(fā)工具鏈；而這既是開發(fā)多數(shù)軟件所需的三大要素也是開發(fā)者在面對多樣算力時所感受到的痛點。
01、基礎使能，多算力調用更簡單
在基礎使能層面，北冥架構力求做到通用、生產力和高性能；而這些正是開發(fā)者在面對多樣算力時最頭疼的地方。
首先，華為通過畢昇C 編程語言實現(xiàn)了多算力情況下的統(tǒng)一編程，讓開發(fā)者能夠通過一種語言、一段源碼就能實現(xiàn)對不同類型底層算力的充分調用。具體而言，在算法中經常用到的各類標量、向量、矩陣、張量計算及多核并行開發(fā)中，畢昇C 可以屏蔽鯤鵬與x86、昇騰與傳統(tǒng)GPU之間的大部分硬件差異。由此，多樣算力能夠變得透明，開發(fā)者便可以專注于代碼和程序的構建，而不是學習不同算力之間的差異。這一做法顯然大幅降低了跨算力應用的開發(fā)門檻。另一方面，以C 為基礎，開發(fā)人員也可以快速上手并實現(xiàn)較高的程序執(zhí)行效率。
當然，畢昇C 實現(xiàn)這一效果還需要北冥融合加速庫的支持。AI處理器之所以能夠在特定運算中展現(xiàn)出更高的性能，是因為這類處理器在執(zhí)行相關函數(shù)運算時能夠展現(xiàn)出極高的效率。因此，從某種意義上講，AI相關的應用開發(fā)便是對各類硬件優(yōu)化函數(shù)的海量調用。而有了北冥融合加速庫，畢昇C 便可調用各類經過硬件優(yōu)化的函數(shù)實現(xiàn)計算效率的大幅提高，簡化后期的調試調優(yōu)工作。
在源碼開發(fā)完成后，用戶還需要對源碼進行編譯。以往，不同類型的算力產品往往分屬不同廠牌，而不同廠牌也有自己推薦的編譯器。但對于多算力融合型應用來說，由于需要調用不同類型的算力，所以源碼的不同部分也需要使用不同的編譯器來進行編譯。顯然，這樣的傳統(tǒng)編譯方式是復雜、低效且容易失敗的。而畢昇編譯器則提供鯤鵬、昇騰、x86、GPU等多種算力和指令集支持，讓開發(fā)者能夠通過一次開發(fā)就編譯出不同版本的可執(zhí)行程序，大大提升了開發(fā)效率。
同時，華為提供的鯤鵬DevKit還提供了強大的代碼遷移和調優(yōu)程序，各類使用JAVA開發(fā)的源碼都可通過該工具方便的遷移至鯤鵬平臺并實現(xiàn)代碼的自動調優(yōu)。
經過實際測試，使用畢昇編譯器后，鯤鵬920在SPECCPU2017 INT上能帶來平均25%以上的性能提升。而在WRF等HPC應用場景中，使用畢昇編譯器則可以帶來10%的性能提升。
另外，經過畢昇編譯器編譯的程序還具備更高的性能。經過測試，同一套源碼經過畢昇編譯器編譯后，在鯤鵬處理器上的執(zhí)行性能可比常見的GCC編譯器提升25%以上。而在由SPEC推出的專門針對異構計算的SPECACCEL的OpenCL測試提升了30%以上。
02、應用使能，融合應用集群部署的福音
云時代，很多企業(yè)軟件都需要在數(shù)據(jù)中心內進行集群部署。在多樣算力參與的情況下，開發(fā)者所面對的并行化、性能和調度問題將更復雜、更棘手。而北冥架構的眾多應用使能特性便是為解決這些問題而生。
在需要CPU算力的部分，元戎分布式并行開發(fā)框架能夠在很大程度上簡化大規(guī)模分布式應用的開發(fā)，讓開發(fā)人員能夠像開發(fā)單機應用一樣開發(fā)集群應用。通常，開發(fā)者只需幾行代碼就可開啟算法、數(shù)據(jù)和函數(shù)嵌套的并行模式，成倍提高代碼在集群中的執(zhí)行效率。
在實際的開發(fā)環(huán)境中，通過使用元戎分布式并行開發(fā)框架，華為云視頻RTC服務的視頻特效功能開發(fā)時間縮短了6倍，硬件資源利用率提升了50%。而在某金融資管風控算法當中，開發(fā)者只用了三行代碼便完成了算法的分布化、并行化，使執(zhí)行效率獲得了數(shù)十倍的提升。
而在經常需要集群參與的AI和HPC應用中，昇思科學計算套件則通過多尺度混合計算和高階混合微分兩大關鍵創(chuàng)新實現(xiàn)了AI計算引擎和科學計算引擎的統(tǒng)一。同時，昇思科學計算套件還集成了包含面向EDA行業(yè)的MindElec、面向生命科學行業(yè)的MindSPONGE等8大科學計算模板的MindScience系列套件，能夠通過預制的數(shù)據(jù)集、基礎模型、高精度模型、前后處理工具等簡化相關行業(yè)應用的開發(fā)，提升計算效率。
而對于需要用到多種算力的融合性應用，北冥架構中的多瑙統(tǒng)一調度器2.0則能夠實現(xiàn)CPU、AI處理器（GPU）存儲、網(wǎng)絡、能耗管理等集群特性的統(tǒng)一調度、統(tǒng)一管理，進一步提升集群系統(tǒng)的使用效率。
03、開發(fā)使能，全流程一站式開發(fā)
任何軟件的工業(yè)化開發(fā)都需要使用大量的開發(fā)工具和嚴謹?shù)牧鞒碳肮芾?。如何強化管理并提升工具鏈和流程的效率是軟件企業(yè)提升競爭力的關鍵。不過，在多樣算力的情況下，面向不同算力的開發(fā)需要使用不同的集成開發(fā)環(huán)境，也需要不同的工具鏈來完成開發(fā)流程定義、優(yōu)化、調試等工作。因此，面向多樣算力的軟件開發(fā)也就變得異常復雜，開發(fā)效率提升困難重重。而為解決軟件企業(yè)的這些痛點，華為還在北冥架構中集成了MindStudio多樣性計算統(tǒng)一工具鏈。
MindStudio自帶多樣算力硬件抽象功能，可通過統(tǒng)一基礎平臺做到底層透明，屏蔽不同算力硬件之間的巨大差異。同時，MindStudio的統(tǒng)一基礎平臺還能做到各類新功能的靈活添加、即插即用，讓新算力、新功能的擴展變得異常簡單。MindStudio統(tǒng)一基礎平臺通過API與上層開發(fā)工具進行對接，能夠極大的簡化工具鏈和相關開發(fā)流程的構建。
而在工具鏈的前段，MindStudio還提供了工程框架、專家系統(tǒng)、功能插件、調試和調優(yōu)、工程管理、語言引擎、調測組件等一系列實用工具，讓企業(yè)通過一套工具鏈就滿足軟件開發(fā)所需的全部功能，簡化了鯤鵬、昇騰等多樣算力的開發(fā)門檻，讓企業(yè)能夠專注于代碼和開發(fā)本身。
與此同時，北冥架構中的MindStudio還可以通過插件與華為云上的DevOps平臺連接，實現(xiàn)針對多算力的完整DevOps功能。
為多樣算力賦予越動靈魂20年前，眾多硬件架構的并行造成了軟件生態(tài)的極大分裂，既限制了用戶，也限制了行業(yè)的發(fā)展。隨后的x86大一統(tǒng)從底層解決了這一問題，并促成了過去10年ICT市場的空前繁榮。但在算力多樣化趨勢之下，硬件架構的多樣性又再次限制了軟件和應用市場的發(fā)展。不過，這一次，以華為為代表的企業(yè)早已未雨綢繆，為跨算力應用的開發(fā)、測試和部署鋪平了道路。
北冥架構的出現(xiàn)，不僅抹平了不同算力之間的架構鴻溝，更為多樣算力的進一步發(fā)展提了供參考。而作為行業(yè)內極少數(shù)能夠同時提供多種算力方案的企業(yè)，北冥架構的推出也代表華為對技術應用和軟件開發(fā)的極端看重。由此，以鯤鵬和昇騰為代表的華為算力產品也實現(xiàn)了對用戶和開發(fā)者的雙向友好。
硬件是軀體、軟件是靈魂。而華為北冥架構的出現(xiàn)，則為鯤鵬、昇騰乃至整個算力生態(tài)的迸發(fā)鋪平了道路。
【IT葡萄皮】（公眾號：itopics）由資深媒體人張垞運營。從業(yè)十二年的深度觀察，只為一篇不吐不快的科技評論。
下載文檔
