大型語言模型(LLM)提供商OpenAI和Anthropic日前與美國國家標(biāo)準(zhǔn)與技術(shù)研究院(NIST)下屬的美國人工智能安全研究所（AISIC）簽署了一份協(xié)議，計劃在包括測試和評估在內(nèi)的AI安全研究方面開展合作。

作為協(xié)議的一部分，Anthropic和OpenAI都將在向公眾發(fā)布他們的新模型之前與AISIC共享，以便進行安全檢查。

AISIC負責(zé)人Elizabeth Kelly在一份聲明中表示：“有了這些協(xié)議，我們期待著與Anthropic和OpenAI開展技術(shù)合作，共同推進AI安全科學(xué)的發(fā)展?！?

這些協(xié)議是在美國總統(tǒng)喬·拜登通過一項行政命令近一年后達成的，這項命令為AI的開發(fā)和使用制定了一系列全面的標(biāo)準(zhǔn)、安全和隱私保護以及監(jiān)督措施。

NIST在7月初發(fā)布了一個名為Dioptra的新開源軟件包，允許開發(fā)人員確定哪種類型的網(wǎng)絡(luò)攻擊會降低AI模型的效率。

此外，NIST還根據(jù)行政命令發(fā)布了幾份促進AI安全和標(biāo)準(zhǔn)的文件，包括其開發(fā)基礎(chǔ)模型的指南初稿“管理兩用基礎(chǔ)模型的濫用風(fēng)險”，以及作為NISTAI風(fēng)險管理框架(AI RMF)和安全軟件開發(fā)框架(SSDF)的配套資源，旨在幫助開發(fā)人員管理GenAI風(fēng)險的兩份指導(dǎo)文件。

協(xié)議還支持美國與英國AI安全研究所的合作

與LLM提供商達成的協(xié)議還包括一項條款，該條款將允許美國安全研究所與英國人工智能安全研究所的合作伙伴合作，并向兩家機構(gòu)提供有關(guān)其模型潛在安全改進的反饋。

美國和英國的政府部門在今年4月初簽署了一項協(xié)議，測試支撐AI系統(tǒng)的安全LLM。

該協(xié)議由美國商務(wù)部長Gina Raimondo和英國科學(xué)、創(chuàng)新和技術(shù)部部長Michelle Donelan在美國華盛頓簽署，AI安全研究所之間的合作是該協(xié)議帶來的直接結(jié)果。

美國圍繞AI安全采取的其他措施

OpenAI和Anthropic簽署這份協(xié)議正值加州AI安全法案進入成為法律的最后階段，該法案可能將制定美國最嚴格的AI法規(guī)，并為其他類似的法規(guī)鋪平道路。

這項名為《前沿AI模型安全創(chuàng)新法案》（SB 1047）的立法為AI開發(fā)人員提出了嚴格的測試和問責(zé)措施，特別是那些創(chuàng)建大型復(fù)雜AI模型的開發(fā)人員。如果該法案成為法律，將要求AI公司在向公眾發(fā)布之前測試其系統(tǒng)的安全性。

直到8月早些時候，OpenAI還在反對該法案，直到最近才承諾支持該法案。

NIST還采取了其他措施，包括今年2月成立了由AI創(chuàng)建者、用戶、學(xué)者組成的AI安全咨詢小組，為AI的使用和開發(fā)設(shè)置了一些安全措施。

AISIC咨詢小組的任務(wù)是制定AI系統(tǒng)“紅隊”行動指南，這些任務(wù)包括評估AI能力、管理風(fēng)險、確保安全、以及為AI生成的內(nèi)容添加水印。OpenAI、Meta、谷歌、微軟、亞馬遜、英特爾和英偉達在內(nèi)的一些主要科技公司都加入了該聯(lián)盟。