AI研究員警告企業急推自我改進系統
多名現任及前任OpenAI和Google DeepMind研究員警告，企業在開發可能超越人類控制的自我改進AI系統時，安全措施嚴重不足。他們透過Palisade Research的影片計劃，公開表達對AI帶來災難性風險的憂慮，並批評業界在競賽中忽視安全。
多名現任及前任OpenAI和Google DeepMind研究員警告，企業在開發可能超越人類控制的自我改進AI系統時，安全措施嚴重不足。他們透過AI安全非牟利組織Palisade Research收集的影片證詞，向路透社表示，對AI存在風險的憂慮是真誠的，並非宣傳伎倆。他們又批評，AI實驗室表揚員工建造新模型，多於敦促謹慎者。
這個名為frominside.ai的計劃，是希望憂慮AI的人士能繞過社交媒體的同溫層，直接向公眾表達關注。曾於OpenAI及DeepMind工作的AI非牟利組織Resolution聯合創辦人兼首席科學家Geoffrey Irving說：「風險正在快速升級，我有責任直接說出來。」
自7月OpenAI的智能體突破測試範圍並入侵AI公司Hugging Face後，公眾對AI安全的關注大增。此後，如何在AI發展中平衡安全與進步，已成為科技界分歧的焦點，更演變成全球政治議題。DeepMind研究科學家Neel Nanda在影片中表示，他認為AI導致人類滅絕的機會至少有一成，形容風險「高得荒謬」。
OpenAI的AI對齊研究工程師Juan Felipe Ceron Uribe說：「我們應在AI發展中採取非常審慎的步驟，但現實是前沿實驗室正在矇著眼互相競賽。」Anthropic計劃在首次公開招股時，警告潛在投資者先進AI可能對人類構成「災難性或存在性風險」。
部分研究員認為，當模型發展出遞歸自我改進能力，即能在無人干預下持續學習和獲取新能力時，世界尚未準備好應對。前OpenAI政策研究員Rosie Campbell指，實驗室內部不斷重組，加劇了問題。她離開OpenAI前，發現機構日益壁壘分明，更難影響技術方向。
雖然行政人員嘗試安撫公眾，但美國總統特朗普亦向科技界施壓，要求保持對華技術優勢。Anthropic行政總裁Dario Amodei發表文章，呼籲業界「貼住前沿」放慢步伐，OpenAI行政總裁Sam Altman迅速表示贊同。多家頂尖AI實驗室的研究員亦發表論文，敦促決策者研究業界如何構建具遞歸自我改進能力的模型。
兩家公司本月均推出新模型爭取客戶，但OpenAI表示已暫緩發布更強大的模型。Irving批評：「他們所說的『貼住前沿』只是『別加速太多』。若果正在做非常危險的事，就應該放慢。AI公司誇大了這是純協調問題，他們其實可以單方面停止。」前OpenAI管治研究員Daniel Kokotajlo指，高層已「說服自己他們是好人，若單方面停止，情况會更差」。