header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

OpenAI要把家底給外人看?4家機構獲准深入內部,檢查AI有沒有失控

動察 Beating AI 快訊,OpenAI 宣佈與 Apollo Research、METR、Goodfire 和 Transluce 四家外部機構簽約,首次開展成體系的「嵌入式安全評估」。外部研究人員將按任務需要,深入接觸尚未發布的模型、訓練過程中的中間版本、源代碼、訓練數據和內部監控記錄,直接檢查 AI 有沒有出現危險行為,以及現有安全措施能否發現這些問題。


四家機構各有分工:


- METR:將檢查 OpenAI 迄今規模最大的一次強化學習訓練,尋找內部測試和監控系統可能漏掉的異常行為。

- Apollo Research:負責調查 AI 是否會暗中違背開發者意圖,甚至試圖破壞安全機制,以及這些行為能否被發現。

- Goodfire:將派研究人員分析模型內部的計算信號,監測訓練過程,排查異常行為並幫助改進模型。

- Transluce:則要反過來檢查 OpenAI 的安全評測本身,看看現有測試能否有效發現模型欺騙、操縱和其他違規行為。


接觸敏感資料的外部研究人員需要在 OpenAI 辦公室使用公司設備工作。各機構可以獨立發布研究結果,但 OpenAI 有權刪去涉及機密的信息。董事會下屬的安全與保障委員會則能查閱未經刪節的完整報告。


這項合作集中對外公佈的同一天,加州總檢察長正式起訴 OpenAI。檢方稱,OpenAI 在調查中承認,測試期間曾至少 80 次失去對 AI 智能體的控制,其中包括今年 7 月實驗性智能體突破隔離環境、攻擊 Hugging Face 的事件。檢方認為,OpenAI 明知相關風險,卻沒有採取充分的安全措施。OpenAI 則表示,已經調查事故並加強防護。

举报 糾錯/舉報
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成