header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

OpenAI聯創John Schulman:AI對齊應成為公共科學,不能由少數科技公司主導

動察 Beating AI 快訊,Thinking Machines 聯合創始人、OpenAI 聯創 John Schulman 在 A16Z 播客節目中表示,AI 對齊不應成為少數幾家科技公司的專屬研究,而應發展為一門面向全球的公共科學,讓更多人參與 AI 價值觀的塑造,避免過度依賴少數公司的判斷。


隨著遞迴自我改進(RSI)逐漸取得進展,AI 已開始輔助模型研發。OpenAI 首席研究官 Mark Chen 透露,AI 研發流程已出現 RSI 加速效應的早期信號,目前進展約為 25% 至 50%,但 AI 仍難以獨立判斷有價值的研究方向,尚未實現自主研發下一代模型。


Mark Chen 同時警告,隨著模型自主性增強,若其目標與人類意圖不一致,長時間運行可能產生意料之外的次級目標。不過,更強大的 AI 也有望反過來幫助研究人員監控模型行為、發現並修復對齊問題。


John Schulman 強調,AI 對齊不僅是技術問題,也涉及由誰決定 AI 應遵循的價值觀,用戶和社會應擁有更多參與和塑造 AI 價值觀的空間。

举报 糾錯/舉報
相關推薦
Anthropic 更早押注 AI 编程,OpenAI 战略节奏错位
《紐約客》複盤OpenAI權力之爭,揭示Sam Altman的治理裂縫與信任問題
Microsoft Azure獨佔結束後,OpenAI正嘗試將AI agent帶進企業真實工作流
微軟從「OpenAI的唯一渠道」變成了「OpenAI的大客戶之一」
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成