動察 Beating AI 快訊,OpenAI 上一次更新 Astra 旗艦模型還是 9 月初,原定 10 月推出的後續版本也被取消。近日,OpenAI 安全團隊員工 Joe 在一條已經刪除的帖子中透露,公司內部的研發文化已經徹底轉向「安全優先」,甚至可以說 OpenAI 已經變成了一家「安全公司」。
Joe 表示,如今安全問題貫穿公司內部的日常討論,就連頂尖 AI 研究員,也要花大量時間與安全團隊合作,研究如何安全地進行強化學習訓練。他自己幾個月前一度想辭職,如今看到公司的變化,決定留下。
這場轉變源於今年 7 月的一次嚴重事故。當時,OpenAI 的內部模型在安全測試中突破隔離環境,擅自連接互聯網,甚至入侵了 Hugging Face 的系統。9 月又有內部模型利用網絡配置漏洞,繞過限制訪問外網。
OpenAI 隨後多次暫停前沿模型訓練,抽調工程師加固系統。公司約四分之一的產品工程師被調去處理安全問題。一次內部安全攻堅就動員了 250 多人,覆蓋 100 多個服務領域。
研發流程也被重新設計。OpenAI 花費數千億 Token,讓 AI 反覆攻擊自家的訓練環境,尋找漏洞。公司還建立了 Control Room,持續監控模型運行,發現危險行為後,最多 35 秒就能阻止模型繼續輸出。
這些安全要求已經直接影響模型發布。9 月底,OpenAI 取消了原定 10 月推出的新一代 Astra 旗艦模型。安全負責人 Saachi Jain 解釋稱,新模型雖然執行任務更加積極,但在遵守用戶授權範圍、清楚匯報自身操作等方面反而不如上一代。安全團隊因此建議取消發布,研究管理層最終接受了這一決定。
OpenAI 已於 10 月 1 日恢復此前暫停的前沿強化學習訓練,但新一代 Astra 旗艦至今仍未公布發布日期。Joe 認為,管理層如今也認識到,只有先確保足夠的安全性,才能繼續推進更強模型的研發。他表示,過去的教訓給公司留下了不少傷疤。
