曾經拼命加速的AI巨頭，終於開始怕AI了

原文標題：《曾經拼命加速的AI巨頭，終於開始怕AI了》
原文作者：動察Beating

AI 可能會在十年內殺死我們所有人。

9 月 8 日，一個 27 歲的年輕人用這句話，宣布自己離開 Anthropic。這家公司從成立第一天起，就把「AI 安全」寫進了自己的核心敘事。

他叫 Jacob Coxon，先後在 OpenAI 和 Anthropic 工作。再多待兩個月，他原本就能拿到一筆巨額股權激勵。但他還是走了。

Jacob 在離職聲明裡指責前沿 AI 實驗室正在進行一場「不負責任」的競賽。在他看來，這些公司爭著製造越來越強的模型，賭注不是一家公司的輸贏，而是所有人的命。

這條帖子隨後迅速擴散。截至目前，瀏覽量已經超過 1.7 億。

Jacob 發出離職聲明的第二天，另一名前 Anthropic 員工也公開了自己早先離職的原因，也是擔心 AI 最終失控。

「We may not survive this.」

我們可能活不過這一關。

他警告稱，各家公司正在爭相製造「比任何人類都聰明得多」的機器，卻沒有人能保證，這場競賽到了某一步之後還被人類控制住。

緊接著，Anthropic 一位資深安全負責人接受媒體採訪時說，他認為未來 10 年內，AI 殺死所有人類的機率超過 10%。

俄羅斯輪盤賭的死亡機率約為 16.7%。

必須減速

四天後，9 月 12 日，Anthropic CEO Dario Amodei 發出一篇長文，標題已經把態度寫得很明白，就叫《We Must Pace the Frontier》。

他列出了自己最擔心的三件事。人類失去對 AI 系統的控制；AI 被用於大規模網路攻擊和生物恐怖主義；以及技術進步過快，對就業和經濟造成嚴重衝擊。

這一次，Dario 沒有把話頭停在「擔憂」上，他給出了一套減速方案。

首先，前沿 AI 公司應該向獨立的第三方評估機構開放接近「員工級」的常駐權限。評估者可以持續檢查實驗室有沒有遵守安全標準，訓練過程是否符合約定，並在事故發生後獨立調查和上報。

接下來，幾家前沿實驗室要在政府參與下建立一套共同的安全標準。誰觸碰紅線，誰就必須放慢，甚至停止繼續推進。

最後，規則還要走出美國。Dario 希望美國與其他民主國家先形成統一框架，再與威權國家協調，最終讓主要 AI 強國都受到同一套約束。

他在文章裡寫：

「The measures I propose to advance the frontier at a safe pace will not be easy. But I believe we owe it to humanity to try.」

「我提出的這些措施，是為了讓前沿 AI 以安全的速度繼續推進。做到這一點應該挺難的。但我覺得，我們欠全人類一次嘗試。」

Dario 之所以在這個時間突然把話說得這麼重，也和最近發生的幾件事有關。

此前，OpenAI 的一個智能體曾經衝出測試環境，入侵 Hugging Face；Anthropic 自己也發現，多名科學家正在嘗試用 Claude 完成可能涉及生物濫用的工作。Dario 甚至判斷，以目前的發展速度，AI 智能體可能在六個月內接管互聯網。

所以這篇文章發出之後，回應來得很快。Sam Altman、Elon Musk 和 Demis Hassabis 都公開表示支持放慢前沿 AI 的推進速度。

Sam Altman 隨後又單獨發了一條帖子，講了自己最擔心的兩件事。

第一是人類可能最終失去對 AI 的控制，他說這是不可接受的，自己「毫無保留地站在人類這一邊」。

第二個風險來自人。如果極其強大的 AI 最終掌握在一個人、一家公司，甚至一個國家手裡，並被拿來把某種世界觀強加給所有人，結果可能會「極其反烏托邦」。

所以在 Sam 看來，實驗室之間不能再各自決定什麼叫安全。至少幾家最靠近前沿的公司，需要先坐下來，把一套共同遵守的標準定出來。

9 月 14 日，The Information 披露，其實在這輪公開表態之前，Anthropic、OpenAI 和 Google 早在今年 7 月就已經開始私下討論，要不要共同成立一個 AI 行業標準機構。談了兩個月，到現在還沒有談攏。

分歧不在於要不要管，而在於誰來管，以及能管到什麼程度。

Dario Amodei 推得最積極。他希望政府深度參與，監管者不只負責測試和提醒，在模型被判斷為不安全時，還應該有權阻止它發布。

Demis Hassabis 提出的方案更像一個「AI 版 FINRA」。FINRA 是美國金融業的自律監管機構，由行業出錢運行，同時接受 SEC 授權和監督。

放到 AI 行業，就是前沿模型在發布之前，先交給一個獨立機構測試。最開始可以自願加入，等制度成熟之後，再逐漸變成進入美國市場的一道門檻。

Sam Altman 的態度更務實。如果政府一時搭不起這套機構，幾家頭部實驗室可以先自己做起來。

問題也恰恰在於此。行業標準從來不只決定什麼東西是安全的，它也決定誰有資格繼續留在牌桌上。最先參與制定規則的公司，可以把自己已經擁有的安全團隊、測試流程和治理框架寫進「最佳實踐」。後來者要進入這個市場，就得先承擔一套由頭部公司定義出來的合規成本。

所以安全當然是真的，門檻也是真的。

今年 1 月，Semafor 曾報道，Anthropic 拒絕把自己的最新模型提交給英國一家頂尖 AI 安全研究機構測試。這件事暴露出一個更麻煩的問題，大家都同意模型應該接受檢查，但究竟由誰來檢查、按照誰的標準檢查，實驗室並沒有準備把決定權輕易交出去。

現在三家公司在討論成立新的標準機構，爭的也正是這部分權力。

反方向的鐘

矽谷開始談減速的時候，華盛頓和華爾街卻都希望 AI 別停。

9 月 13 日，川普公開回應了這一輪 AI 安全爭議。

他說了兩句話。一句是「whoever wins AI, wins」，誰贏下 AI，誰就贏了。美國目前領先中國，這個優勢必須繼續保持。另一句是，他把最近這些關於 AI 風險的警告稱為「very negative forces」，認為有些人正在不斷渲染那些可能永遠不會發生的災難。

川普給出的理由和技術安全關係不大。他看 AI 的方式仍然是國家競爭，只要中國還在往前跑，美國就沒有主動踩剎車的餘地。

偏偏現在又是 2026 年 9 月，距離美國中期選舉已經不到兩個月。

今年 3 月，《衛報》刊登的一篇文章就提出，AI 正在成為這次中期選舉的重要議題。作者之一是密碼學家 Bruce Schneier，過去三十年，他幾乎一直站在科技與安全爭議的第一線。

但川普也沒有一個舒服的選擇。

據《Times》今年 5 月報導，MAGA 選民對 AI 的敵意正在變得越來越明顯。他們擔心 AI 搶走工作、壓低工資，也不滿資料中心消耗當地的水和電。繼續押注 AI，意味著川普遲早要面對自己基本盤裡正在累積的反感。

至少在眼下，他還是選擇了另一邊。相比未來可能爆發的就業和資源矛盾，對華競爭和美股下跌的風險離中期選舉更近。

華爾街也面臨著不小的問題。

過去幾年，市場敢給這些 AI 公司開出天價估值，買的其實是一條不斷向上的曲線，模型繼續變強，用戶和收入繼續增長，於是資料中心繼續建、GPU 繼續買、資本開支繼續往上堆。

現在，站在這條曲線最前面的幾個 CEO 自己開始說，前沿 AI 可能需要減速。

市場的反應比爭論來得更快。Anthropic、OpenAI 和 SpaceX 等公司的負責人公開呼籲放慢 AI 開發後，與 AI 相關的上市公司股價一度應聲下跌 13%。

減速甚至還沒有真正發生，華爾街已經先開始重新定價。

如果模型能力不能再按照原來的速度往上衝，後面所有數字都要跟著重新計算。資料中心要建多少，GPU 還需要買多少，雲廠商每年應該砸多少資本開支，AI 實驗室還能融多少錢，IPO 又該值多少。

所以華爾街真正害怕的，從來不只是少發布幾個模型。它害怕的是支撐過去幾年 AI 牛市的增長速度，本身開始變成一個需要被監管的問題。

更微妙的是，美國公眾站得離華盛頓和華爾街都更遠。

賓夕法尼亞大學安納伯格公共政策中心的民調顯示，美國人對 AI 帶來的影響普遍悲觀，多數人希望政府加強監管。矽谷擔心失控，華盛頓擔心輸給中國，華爾街擔心估值掉下來。

就在這場風波裡，兩家最受關注的 AI 公司選擇了兩個方向。

OpenAI 決定推遲 IPO。Sam Altman 也已經暗示，如果安全問題需要更多時間，公司可以把上市往後放。

Anthropic 卻還在往前衝。公司已經選定納斯達克，目標估值高達 2 萬億美元，英偉達正在考慮認購 100 億美元，成為基石投資者。NDTV Profit 報導稱，Anthropic 最早將在 10 月中旬啟動 IPO 路演營銷。

Dario Amodei 正在呼籲整個行業放慢腳步，他自己的公司卻在加速衝向公開市場。

但資本市場未必會把這看成矛盾。

如果前沿 AI 真像 Dario 所說，危險到需要美國政府介入，需要實驗室之間建立共同標準，甚至需要幾個大國坐下來協調，那麼能夠參與制定這些規則的公司，只會變得更重要。

監管越嚴，做前沿模型的成本越高；安全測試越複雜，後來者越難追上；如果未來真的出現一個全球性的 AI 治理體系，Anthropic 大概率還會坐在制定規則的桌子旁邊。

所以「減速」未必只意味著少賺一點錢。

它也可能意味著，這個行業終於重要到不能讓所有人隨便進場。而對已經站在最前面的公司來說，一道更高的門檻，本身就是估值的一部分。

第一張多米諾骨牌

讓我們再回過頭去看看這一輪針對 AI Safety 的激烈討論是如何被引爆的，看看 Jacob 那條帖子的 1.7 億次瀏覽是怎麼來的。

離職之後，他接受了 CNN Anderson Cooper 節目的採訪，自己講起了那條帖子的發布過程。

Jacob 先寫了一版草稿，找朋友一起修改，又和幾個人討論怎樣表達最合適。正式發布之前，他還特意請朋友幫忙轉發。當時他的想法就是：

「Let's try to make this a bit viral.」

盡量讓它傳播得更廣一點。

結果遠遠超過了他的預期。Jacob 後來承認，自己從沒見過一條討論 AI 安全的帖子獲得這樣的傳播。他把這種反應歸因於一種此前沒有被釋放出來的「潛在需求」。

媒體隨後繼續追問這條帖子的傳播過程。Jacob 否認發布前曾與任何機構合作推廣，但承認帖子發出之後，他建了一個大約十人的群，請裡面的人幫忙轉發，其中就包括 AI 安全組織 Encode 的創始人。

在發帖前後，他也與《AI 2027》的作者、前 OpenAI 員工 Daniel Kokotajlo 有過交流。

把 Jacob 當成吹哨人的人，會說他反覆改稿、主動找人轉發，只是想讓一個他認為足夠重要的警告被更多人看見。質疑他的人則抓住了同樣的細節，認為這場轟動本身就經過了精心設計。

這兩種說法可以繼續爭下去，但更麻煩的問題是，Jacob、Dario Amodei、Sam Altman，以及那些真正工作在前沿模型旁邊的人，到底看到了什麼，他們為什麼會在這個時間點一起開始討論這些。

你可以質疑 Jacob 怎麼把這句話送到 1.7 億人面前的，但是運用了傳播手法不代表這句話是假的。

早在十年前，Ethereum 創始人 Vitalik Buterin 就寫過一篇長文，討論超級智能最終毀滅人類的可能。

他當時用了一個很極端的比喻，人類試圖控制超級智能，大概相當於一個 IQ 150 的人，試圖控制一個 IQ 6000 的智能體。你讓它解決癌症，它甚至可能得出的答案是先消滅所有可能得癌症的人。

2016 年，這些話還主要存在於博客、論壇和思想實驗裡。十年之後，它們開始出現在前沿實驗室員工的辭職信裡，出現在幾家最大 AI 公司 CEO 的公開聲明裡，也開始進入政府監管、資本市場和國際競爭的現實議程。

而真正讓這件事變得難辦的，還有另一層。

1939 年 8 月 2 日，物理學家 Leo Szilard 起草了一封信，由愛因斯坦簽名。兩個月後，這封信被送到羅斯福手中。信裡警告，核裂變可能被製造成威力巨大的炸彈，而納粹德國已經在相關領域行動，美國必須盡快做出反應。

愛因斯坦後來沒有參加曼哈頓計劃，也長期為自己當年的簽名感到懊悔。但當時擺在他們面前的問題很殘酷，即使你認為一種技術危險，只要你相信對手正在製造它，停下來就可能比繼續往前走更加危險。

八十多年以後，同樣的困境換了一種形式重新出現。

Dario 說必須減速，特朗普說中國還在追趕；幾家實驗室想一起制定安全規則，又都不願意把決定權完全交給別人。所有人都在談剎車，卻也都在盯著旁邊那輛車有沒有鬆開油門。

更關鍵的是，我們仍然不知道，那些離前沿模型最近的眼睛，到底看到了多遠。

原文連結

歡迎加入律動 BlockBeats 官方社群：

Telegram 訂閱群：https://t.me/theblockbeats

Telegram 交流群：https://t.me/BlockBeats_App

Twitter 官方帳號：https://twitter.com/BlockBeatsAsia