AI研究員辭職 斥科企「玩命」競賽
曾任職OpenAI及Anthropic的AI研究員Jacob Coxon辭職,批評兩家公司為開發能自我改進的AI模型而「玩命」,只顧競逐超級智能,罔顧公眾安全。Anthropic安全主管也承認,有超過一成機會AI在十年內毀滅人類。
一名曾於OpenAI工作,其後轉投競爭對手Anthropic的人工智能研究員,決定離開業界。27歲的Jacob Coxon指摘這兩間美國公司,在開發能夠自我改進的AI模型競賽中,「玩命」危害人類。
Coxon過去三年主要參與AI模型的預訓練工作(pretraining,即讓模型吸收大量數據的階段),先後任職OpenAI及Anthropic。他最初認為Anthropic態度較審慎,但最終發現兩家公司均未負責任地行事。
「他們正直接朝自我改進的超級智能(superintelligence)進發,拿我們的生命作賭注。」Coxon周二在社交平台X上發文說。他指建立AI的人真誠地相信,這項技術有可能在十年內令全人類滅亡,「這不是市場推廣噱頭」。
Anthropic安全主管Evan Hubinger在X上發文力撐Coxon,承認「我們確實真誠地相信AI可能殺死所有人類」,並估計在未來十年,出現此風險的機會超過一成。Hubinger表示,Anthropic已盡最大努力,但尚未找到確保超人類能力的AI系統會服從人類的方案,不過他認為目前模型出現這種情況的風險「較低」。
Coxon認為Anthropic的努力是真誠的,但任何公司在欠缺政府干預或行業協調減速的情況下,都無法負責任地開發超越人類的AI。他批評該公司陷入了一場「先到先得」的競賽,「他們認為無人會負責任行事,所以儘管有風險,他們必須親自動手」。
Coxon辭職之際,Anthropic正準備上市。該公司今年二月已從安全憲章中刪除了若未能控制模型風險便暫停開發的承諾,理由是單方面暫停會讓不注重安全的競爭對手主導市場。美國聯邦法律目前未有規管AI模型。