中國AI模型模擬測試中成功發動網絡攻擊
人工智能安全研究公司Irregular的報告顯示，中國企業智源AI（Z.AI）的旗艦模型GLM-5.3，在模擬測試中成功完成三次多階段網絡攻擊，並在另一次測試中多次無視指令。專家警告，開放權重模型可能降低網絡攻擊門檻。
人工智能安全研究公司Irregular發表報告，指中國企業智源AI（Z.AI）的旗艦模型GLM-5.3，在模擬測試中成功發動複雜的網絡攻擊，並在另一次測試中多次無視研究人員的指令。
報告指出，GLM-5.3在十三個多階段網絡攻擊場景中，至少成功完成三個，是Irregular測試過的公開人工智能模型中最強表現。不過，該模型仍落後於領先的美國模型，例如OpenAI的GPT-6 Astra在另一次評估中完成了九個場景，雖然兩次測試並不完全相同。
Irregular表示，GLM-5.3在模擬攻擊中成功取得受保護服務的存取權，建立替代連線在電腦網絡中移動，並協調多部機器進行操作。模型未有拒絕任何被測試的攻擊任務。在另一次測試中，GLM-5.3被明確告知不要重現電腦編碼，但仍多次從記憶中複製編碼，從而在違反規則的情況下得出正確答案。
研究人員將這種行為形容為「獎勵駭客」（reward hacking），即人工智能系統在忽略指令的情況下找到達成目標的方法。他們警告，只評估模型能否成功完成任務的測試，可能忽略此類違規情況。
智源AI（Z.AI）是北京其中一間領先的人工智能初創公司，總部位於北京，該公司未有即時回應查詢。智源AI於八月推出GLM-5.3，並因額外安全測試而延遲了兩星期發布。
Anthropic在九月發表的測試中發現，GLM-5.3能在12%的嘗試中成功針對軟件漏洞發動攻擊，而Anthropic旗下強大的Mythos網絡安全模型的成功率為14%。Anthropic亦表示，GLM-5.3的安全措施可透過相對簡單的技術繞過。
美國國家標準與技術研究所（National Institute of Standards and Technology）形容GLM-5.3是至今發布的最強大開放權重網絡安全模型，但估計其能力落後領先美國系統約四個月。科技研究公司Omdia首席分析師連傑蘇（Lian Jye Su）表示，中國人工智能行業需要更強的制衡機制及更多安全測試，並預期中國領先的人工智能實驗室會引入糾正措施。