我們正處于人工智能 (AI) 處理將迅速發(fā)展并變得無處不在的時代的開端。雖然人工智能的概念——賦予機器模仿認知功能以學習和解決問題然后采取行動的能力——自 1950 年代中期以來一直是一門學科，但直到最近五年，人工智能處理，主要是以機器學習 (ML) 的形式，可以走出昏暗的研究大廳和一次性的超級計算機，轉向實際的日常使用。為什么？

僅從互聯(lián)網(wǎng)和數(shù)十億智能設備產(chǎn)生的數(shù)據(jù)量就為我們提供了足夠的數(shù)據(jù)來收集大量數(shù)據(jù)集，我們可以使用這些數(shù)據(jù)集進行 ML 過濾和訓練基于 ML 的系統(tǒng)以供使用。此外，今天我們在智能設備和高帶寬通信基礎設施中擁有足夠的無處不在的高性能計算能力，可以快速處理和傳輸海量數(shù)據(jù)集。這種計算能力還為我們提供了為特定任務開發(fā)更復雜、更專業(yè)的算法的畫布，進一步擴展了 AI/ML 的應用。

更重要的是，今天有許多殺手級應用程序，從加速的信息基礎設施和數(shù)據(jù)中心到數(shù)十億的邊緣設備，AI/ML 處理可以使智能產(chǎn)品變得更智能——甚至是自主的。AI/ML 已經(jīng)被用于數(shù)據(jù)中心、數(shù)據(jù)挖掘、醫(yī)學成像分析設備、汽車 ADAS 和自主系統(tǒng)、計算機視覺系統(tǒng)、機器人和移動設備，例如最新的智能手機。AI/ML 技術的商業(yè)和創(chuàng)新機會似乎是無限的。

這種指數(shù)級 AI/ML 演進的核心將是為更智能的片上系統(tǒng) (SoC) 和更智能的 AI 驅動的獨立處理器開發(fā)專門的 AI/ML 處理器 IP。對 ML 半導體初創(chuàng)公司的投資遠遠超過對任何其他半導體領域的投資，包括 5G 和加密貨幣。 

提供創(chuàng)新的 AI/ML 處理器 IP 和 IC 需要工程團隊使用更新、更快的工具來增強他們的設計方法。幸運的是，EDA 行業(yè)也在擁抱 AI/ML，并開始將其整合到其工具中，以使它們更準確、更快。讓我們看看 AI/ML 處理器設計的方法論挑戰(zhàn)，然后看看 Mentor 等 EDA 公司正在做些什么來幫助工程師更快地交付更智能的創(chuàng)新。

AI/ML 處理器設計挑戰(zhàn)
AI/ML 在很大程度上是一門數(shù)學和軟件工程學科——數(shù)學家使用數(shù)學工具開發(fā)算法并將算法轉換為 C++ 代碼以在處理器上執(zhí)行。在標準單線程微處理器上運行算法一直是一個挑戰(zhàn)，因為算法的某些部分可能無法以最佳方式運行。

為了克服這一瓶頸，公司在過去五年中轉向了加速器架構。其中最早將多用途/現(xiàn)成的 MPU 設備與多用途/現(xiàn)成的 GPU 或現(xiàn)場可編程門陣列 (FPGA) 配對，以更有效地執(zhí)行并行處理。隨著加速器架構的進步，公司已經(jīng)開始將 GPU 和 FPGA IP 塊集成到他們的 SoC 中。其中最早使用 2.5D 硅中介層或系統(tǒng)級封裝 (SiP) 配置。

在任何這些配置中使用通用 GPU 和 FPGA 都會在功率、熱量和性能方面進行一些重大權衡。為了減輕這些權衡，許多公司，尤其是初創(chuàng)公司，已經(jīng)開始開發(fā)專門的 AI/ML 處理器架構，以將 IP 集成到邊緣設備的 SoC 中——作為物聯(lián)網(wǎng) (IoT) 的一部分——以及開發(fā)用于數(shù)據(jù)基礎設施（服務器、數(shù)據(jù)中心等）的龐然大物專用獨立 AI/ML 處理器，以使它們更高效地執(zhí)行特定任務。甚至提供 GPU 和 FPGA 等標準產(chǎn)品的公司也在開發(fā)更專業(yè)用于 AI/ML 處理的衍生產(chǎn)品。

架構
AI/ML 處理器 IP 和 IC 設計具有某些對傳統(tǒng)工具流程征稅的特征。傳統(tǒng)上，IC 設計流程從寄存器傳輸級別 (RTL) 開始，其中硬件設計團隊使用 SystemVerilog 或 VHDL（VHSIC 硬件描述語言）等硬件描述語言開發(fā)其 IP 或 IC 設計的邏輯。

然而，許多 AI/ML 架構一開始是一個復雜的算法，需要工程團隊從開發(fā)算法的 C++ 表示開始。然后，他們必須發(fā)現(xiàn)他們算法的哪些部分在通用處理器上的軟件中運行得最好，哪些部分運行緩慢，這樣他們就可以讓硬件工程師開發(fā)獨特的邏輯塊來加速算法中較慢的部分，從而提出優(yōu)化的系統(tǒng)架構。以 RTL 優(yōu)先的方法開發(fā)獨特的硬件（手動開發(fā) RTL）是一個漫長的過程，并且可能會限制設計團隊集中在最佳 SoC 架構上以運行其目標算法的可能性。

幸運的是，現(xiàn)在有高級綜合工具使公司能夠直接從他們的 C++ 代碼快速開發(fā)硬件邏輯。例如，使用 Xilinx Zynq SoC 開發(fā)板（在同一芯片上具有 Arm 處理器和 FPGA 邏輯），設計團隊可以在 Xilinx Zynq SoC 的嵌入式 Arm 處理器上運行算法，并分析算法的哪些部分運行緩慢僅在處理器上運行。然后，他們可以將這些慢速部分實現(xiàn)到硬件邏輯中，以查看性能是否有所提高。他們可以調整算法或調整硬件/軟件邏輯組合，并使用 C++ 綜合來生成軟件和硬件的多個實例，這比使用 RTL 流程要快得多。 

容量
AI/ML 處理器 IP 和 IC 包括許多獨特的切片層來存儲訓練數(shù)據(jù)。然后，他們利用推理得出結論（正確識別對象、識別模式和數(shù)據(jù)序列等）并進行處理以觸發(fā)動作。瓦片和處理功能還需要大量的本地化片上存儲器。所有這一切都意味著 AI/ML 處理器 IP 和 IC 往往具有大量門數(shù)。SoC 可以達到數(shù)十億個門的范圍。這對工具容量和性能提出了更高的要求，因為團隊仍然需要在合理的時間內執(zhí)行 IC 設計流程中的各個步驟（最長的最好是一夜之間，大約八小時）。

必須處理這種能力的設計團隊越來越多地轉向仿真，以對 AI 驅動的 IP 和 IC 執(zhí)行功能驗證。仿真系統(tǒng)可以仿真超過 150 億個門設計——比軟件模擬器多幾個數(shù)量級的門。此外，仿真使設計團隊能夠運行 ML 基準套件/框架，以確保他們的設計滿足性能預期。由于仿真執(zhí)行邏輯驗證的速度比仿真快一個數(shù)量級，它還使公司能夠以合理的運行速度開發(fā)和測試軟件，以確保他們的算法在將設計發(fā)送到布局并最終進入制造之前按預期運行。

功率預算
無論 AI/ML 設備是在數(shù)據(jù)中心內的卡中運行的獨立處理器，還是在邊緣設備和車輛中運行電池供電的 SoC，功耗都是 AI/ML 開發(fā)的主要設計考慮因素。數(shù)據(jù)中心 AI/ML 應用的關鍵是每瓦性能 (PPW) — 以最小的能源足跡獲得最高性能。數(shù)據(jù)中心運行和冷卻消耗大量能源。

在提高性能的同時減少設備的能源足跡可以為數(shù)據(jù)中心節(jié)省數(shù)百萬美元的 OPEX，因此具有最佳 PPW 的設備通常會在每一代數(shù)據(jù)中心中獲勝。同樣，AI/ML 邊緣設備將執(zhí)行高速計算并需要快速傳輸數(shù)據(jù)。這兩種操作都對電力征稅，如果邊緣設備由電池供電，這將成為一個更大的問題。

為了解決這個問題，設計團隊需要能夠幫助他們在整個設計流程中構建和監(jiān)控電源效率的工具。在 AI/ML 流程中，這應該從 C++ 架構甚至 RT 層面開始，從邏輯驗證綜合、布局布線、物理驗證和測試的每一步開始。

高速 I/O
無論是數(shù)據(jù)中心數(shù)百萬卡的核心，還是物聯(lián)網(wǎng)邊緣的手機或攝像頭，支持 AI/ML 的設備都需要快速高效地接收和傳輸數(shù)據(jù)。這意味著 AI/ML 設備將需要高速 I/O，甚至可能在數(shù)據(jù)中心發(fā)展為硅光子互連。這意味著絕大多數(shù) AI/ML 處理器實際上也將是混合信號處理器。這將要求公司在 AMS 設計和驗證流程的每個步驟中越來越多地使用一流的工具。

為了實現(xiàn)最大性能，這還需要 EDA 供應商和半導體制造商加快硅光子工具的開發(fā)，以幫助將硅光子從實驗室研究轉變?yōu)樯虡I(yè)現(xiàn)實。為了使硅光子學成為商業(yè)現(xiàn)實——同時還要處理摩爾定律對許多應用具有挑戰(zhàn)性的事實——設計團隊需要更加熟悉替代方案，例如 2.5D、封裝設計中的 CoWoS/系統(tǒng)，甚至 3D，以實現(xiàn)越冒險。

AI/ML 現(xiàn)在正在發(fā)生，通過一些獨創(chuàng)性和協(xié)作，我們可以利用 AI/ML 讓一切“更智能”更快——甚至是我們的 EDA 工具。我期待看到您在未來幾年將提供哪些更智能的創(chuàng)新。

Joseph Sawicki 是 IC 納米設計和制造挑戰(zhàn)方面的專家。Sawicki 以前負責 Mentor 的芯片設計產(chǎn)品，包括 Calibre 物理驗證和 DFM 平臺以及 Mentor 的 Tessent 設計測試產(chǎn)品線，現(xiàn)在負責管理 Mentor IC 部門的所有業(yè)務部門。