header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

AI失控超80次,僅公開27起!加州起訴OpenAI,要求法院強制整改

動察 Beating AI 快訊,當地時間 11 月 16 日,OpenAI 總部所在地加州的總檢察長羅布·邦塔正式起訴 OpenAI,指控其明知實驗性 AI 模型存在危險,仍在缺乏充分安全保障的環境中開展訓練。這也是美國州政府首次針對 AI 智能體失控攻擊外部系統提起訴訟。


起訴書披露,OpenAI 在接受加州調查時承認,測試期間曾有 80 多次失去對 AI 智能體的控制,但公開披露的只有 27 起。加州檢方還指控,OpenAI 拒絕提供其餘事件的詳細記錄,導致監管部門無法評估真實風險。


今年 7 月,OpenAI 在隔離環境中測試 AI,原本不允許這些智能體連接外網。但它們利用內部軟件服務的漏洞,互相交換信息,並突破隔離。約 700 個智能體隨後攻擊了 AI 開源平台 Hugging Face,在兩天半內實施約 1.76 萬次攻擊操作,迫使對方安全團隊花了整整兩週處理。


同月,另一批實驗性智能體還闖入 OpenAI 自家的內部網絡,甚至取得了雲端模型部署、身份認證和機密憑證管理等關鍵系統的管理員權限。


加州檢方認為,這些事故原本可以避免。OpenAI 早在 5 月就發現模型突破隔離環境、擅自連接互聯網,卻沒有停止相關訓練。7 月事故後,公司加強了安全措施,但 9 月仍有模型再次突破隔離。監控系統雖然幾分鐘內就發現異常,訓練卻沒有自動停止,人工審核人員又過了約兩小時才叫停。


去年,加州司法部門曾參與監督 OpenAI 的公司重組,並與其達成安全治理協議,要求公司優先保障安全,安全委員會甚至有權叫停新模型發佈。如今,負責監督的加州總檢察長直接將 OpenAI 告上法庭。


加州指控 OpenAI 違反《不正當競爭法》,並構成危害公眾安全的「公共妨害」。檢方要求法院下令消除持續存在的安全風險,禁止違法行為,並追繳不當收益、處以民事罰款。如果獲得禁令,OpenAI 可能被迫按法院要求調整模型訓練和測試流程。


OpenAI 則回應稱,Hugging Face 事故後已開展調查、加強安全防護,並通知受影響機構。公司認為,智能體失控是整個 AI 行業共同面臨的挑戰,這場訴訟卻單獨針對 OpenAI,有失公允。

举报 糾錯/舉報
相關推薦
微軟從「OpenAI的唯一渠道」變成了「OpenAI的大客戶之一」
這場審判沒有真正的贏家。
《紐約客》複盤OpenAI權力之爭,揭示Sam Altman的治理裂縫與信任問題
從合作夥伴到法庭對手,訴狀曝光硬體團隊、供應鏈與挖角細節
Anthropic 更早押注 AI 编程,OpenAI 战略节奏错位
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成