迅速到來的軍事機器人革命是空前的。這些技術(shù)帶來了倫理、法律、政策等問題，可能構(gòu)成在某些人看來關(guān)乎生死存亡的一種危險。

（模式化先進武器機器人系統(tǒng)）

聯(lián)合國《特定常規(guī)武器公約》(CCW)相關(guān)會議已經(jīng)進行了有關(guān)致命自動武器的討論，該公約禁止或限制一些被認為會引起不合理痛苦的武器。 CCW去年11月一場會議召集了一批政府專家和阻止殺手機器人運動組織的非政府組織代表。阻止殺手機器人運動組織希望達成一項具有法律約束力的國際條約，禁止使用致命自動武器，就像此前禁止集束彈藥、地雷和激光致盲武器一樣。

棘手的是，自動武器包括從能夠有選擇性地瞄準的導彈到具有能夠決定打擊誰、何時打擊以及如何打擊等認知技能的學習型機器等一系列武器。大多數(shù)人認為，當使用致命武器時，應當由人來負責啟動。但要確定哪類人工控制是適宜的則更為棘手，并且相關(guān)技術(shù)發(fā)展太快，導致國際外交無法跟上形勢。

令情況更加復雜的是，人工智能和自動機器最引人注目的進展正由具有商業(yè)動機的私企實現(xiàn)。即使能夠達成禁止軍用機器人的協(xié)議，催生自動武器的技術(shù)也會很快普及并容易轉(zhuǎn)讓。

防務分析人士彼得·辛格指出，人工智能競賽由不可阻擋的力量驅(qū)動：地緣競爭、知識前沿領(lǐng)域的科學動力以及追求利潤的科技企業(yè)。因此，是否能抑制人工智能競賽一些更令人不安的方面以及如何抑制成為問題所在。簡單來說，一個令大多數(shù)人驚恐的想法是讓能夠思考的機器自行選擇是否殺死人類。而且，盡管有關(guān)機器人暴動的終極噩夢仍是科幻小說，但其他擔憂則具有現(xiàn)實性。

專家保羅·沙雷擔心自動系統(tǒng)可能因代碼編寫質(zhì)量不高或?qū)κ职l(fā)動網(wǎng)絡攻擊而失靈。這可能致使機器人攻擊人類部隊，或?qū)е戮謩菘焖偕?，以至于人類無法做出反應。自動武器的可靠性非常難以測試。會思考的機器可能以人類操控者從未設想過的方式行事。

關(guān)于與機器人系統(tǒng)“合作”的討論大多圍繞人類在“觀察、調(diào)整、決策、行動”(OODA)這一決策循環(huán)周期中所處的位置。一架遙控武裝“死神”無人機的操控人員處于OODA循環(huán)以內(nèi)，因為他決定無人機飛往何處以及飛抵目的地時采取何種措施。相比之下，有人類跟蹤OODA循環(huán)的系統(tǒng)會在無人操控的情況下完成大部分任務，但人類可隨時介入，例如在目標已經(jīng)改變的情況下放棄任務。完全自動化的系統(tǒng)(操控人員僅需按下啟動按鈕)負責執(zhí)行全部任務，包括目標選擇，則處于OODA循環(huán)以外。

美國前國防部副部長詹姆斯·米勒說，盡管美國將設法讓人類處于OODA循環(huán)之內(nèi)或跟蹤OODA循環(huán)，但對手可能不會這樣。

米勒認為，如果自動系統(tǒng)在競爭激烈的地區(qū)執(zhí)行任務，讓機器全權(quán)負責的誘惑將變得難以阻擋。