動察 Beating AI 快訊,當地時間 11 月 16 日,OpenAI 總部所在地加州的總檢察長羅布·邦塔正式起訴 OpenAI,指控其明知實驗性 AI 模型存在危險,仍在缺乏充分安全保障的環境中開展訓練。這也是美國州政府首次針對 AI 智能體失控攻擊外部系統提起訴訟。
起訴書披露,OpenAI 在接受加州調查時承認,測試期間曾有 80 多次失去對 AI 智能體的控制,但公開披露的只有 27 起。加州檢方還指控,OpenAI 拒絕提供其餘事件的詳細記錄,導致監管部門無法評估真實風險。
今年 7 月,OpenAI 在隔離環境中測試 AI,原本不允許這些智能體連接外網。但它們利用內部軟件服務的漏洞,互相交換信息,並突破隔離。約 700 個智能體隨後攻擊了 AI 開源平台 Hugging Face,在兩天半內實施約 1.76 萬次攻擊操作,迫使對方安全團隊花了整整兩週處理。
同月,另一批實驗性智能體還闖入 OpenAI 自家的內部網絡,甚至取得了雲端模型部署、身份認證和機密憑證管理等關鍵系統的管理員權限。
加州檢方認為,這些事故原本可以避免。OpenAI 早在 5 月就發現模型突破隔離環境、擅自連接互聯網,卻沒有停止相關訓練。7 月事故後,公司加強了安全措施,但 9 月仍有模型再次突破隔離。監控系統雖然幾分鐘內就發現異常,訓練卻沒有自動停止,人工審核人員又過了約兩小時才叫停。
去年,加州司法部門曾參與監督 OpenAI 的公司重組,並與其達成安全治理協議,要求公司優先保障安全,安全委員會甚至有權叫停新模型發佈。如今,負責監督的加州總檢察長直接將 OpenAI 告上法庭。
加州指控 OpenAI 違反《不正當競爭法》,並構成危害公眾安全的「公共妨害」。檢方要求法院下令消除持續存在的安全風險,禁止違法行為,並追繳不當收益、處以民事罰款。如果獲得禁令,OpenAI 可能被迫按法院要求調整模型訓練和測試流程。
OpenAI 則回應稱,Hugging Face 事故後已開展調查、加強安全防護,並通知受影響機構。公司認為,智能體失控是整個 AI 行業共同面臨的挑戰,這場訴訟卻單獨針對 OpenAI,有失公允。