AI丨Anthropic籲暫緩AI開發 警惕自我改進風險

美國人工智能(AI)科企Anthropic稱，AI系統正以極快的速度發展，可能很快就能在無人干預的情況下進行自我改進，而其方式或對社會構成重大風險，呼籲頂級AI實驗室考慮放慢開發步伐。

Anthropic共同創辦人克拉克(Jack Clark)及內部研究機構負責人法瓦羅(Marina Favaro)共同撰寫博文，表示放慢全球AI發展的能力「很可能是一件好事」。模型的進步似乎正朝着「遞歸式自我改進(recursive self-improvement)」的方向發展，即AI系統可以在沒有人類干預的情況下自行改進。雖然遞歸式自我改進尚未發生，也並非不可避免，但其到來的時間可能比大多數機構準備好的要早。

文章指出，暫停或放緩發展只有在得到廣泛遵守的情況下才有意義，而這將需要一個核查機制來確保所有人都已停止；提議就如何潛在地放慢開發速度達成一項全球協議，並建立一個核查機制，以確保競爭對手遵守該協議。Anthropic計劃在未來幾個月組織與政策制定者、研究人員和其他人士的對話，以幫助回答圍繞遞歸式自我完善和核查系統的問題。