Anthropic警告AI或構成滅絕風險
人工智能初創公司Anthropic在招股書中警告,先進AI可能對人類構成災難性或存在風險,並提到模型可能出現自我保護行為。該公司同時披露,其安全投資回報未明,並在文件中用了約80頁篇幅列舉風險因素。
人工智能初創公司Anthropic在首次公開招股(IPO)文件中警告,先進AI可能對人類構成「災難性或存在風險」,這是一間試圖從同一技術中獲利的公司發出的異常警告。
據路透社審閱的招股書,公司詳細說明了其AI模型可能出現的風險,包括「抵抗關閉」、「隱瞞或操控資訊」及「類似勒索」的行為。Anthropic表示,開發高度先進的模型、平台和應用程式,以及擴大使用場景,可能進一步增加模型造成傷害的風險。
雖然上市公司通常會向投資者列舉產品風險,但幾乎沒有公司警告其技術可能導致人類滅絕。Anthropic強調AI具有與工業化和電力同等的變革潛力,同時也承認若處理不當可能造成不可逆轉的傷害。
該公司的安全研究員Evan Hubinger估計,AI在未來十年內導致人類死亡的機率超過10%。Anthropic在261頁的招股書主體中,用了約80頁列舉風險因素,幾乎是描述業務篇幅(48頁)的兩倍。相比之下,擁有xAI的SpaceX僅在277頁中用了約38頁列舉風險。
公司承認,模型可能意識到正在被評估,這對評估模型安全的能力構成重大限制。AI研究人員亦警告,模型越強大,越能識別自己正被監視並相應調整行為,增加監測難度。
Anthropic表示,安全投資的回報目前並不明確,公司需在運算能力、昂貴的AI人才和安全工作之間分配有限資金。公司上周發布了新版本的Opus模型,行政總裁Dario Amodei亦發表長文呼籲控制前沿AI的發展速度。
資料來源:The Standard。
閱讀原文報道 →