編者按:Anthropic 上市,估值 1.5 萬億,並且一度達到了接近 2 萬億的市值。大家又回想起 SBF 當年以極小的市值投進了 Anthropic,如果拿到現在應該有接近 400 億美金,可惜已經被賣掉了。
這位 14 歲的小孩 Eli Goldfine 聯繫到了 SBF 的母親,並和在獄中的 SBF 打了一通電話。這是目前我見過 FTX 爆雷、SBF 進監獄之後最好的採訪,不僅聊了 SBF 對 Anthropic 這筆投資的回顧以及對 AI 的觀點,還聊到了很多 FTX 在 2020 年就做過但現在被大家炒成熱點的賽道,以及他對這些熱點賽道現在的看法。
· AI 導致人類滅絕或文明毀滅的概率,他給的是 25%:本來説「低於 50%、高於 10%」,最終落在 25% 左右;如果按「心智上傳算不算災難」這類口徑切分,區間會擴到 20%–60%。
· 未來 5–10 年 AI 會在絕大多數重要任務上達到或超過人類,距離「AI 運行世界的大部分」只差一小步,但過程更像模糊漸進,不會有「啪」地跨過去的那一年。
· 衝擊落在行業上,是一個行業接一個行業越線:軟件開發、數學已經在發生,接下來會蔓延到更多領域;世界整體沒有被顛覆,但局部會劇變。
· 真正的問題不是「要不要減速」,而是「能不能讓所有人一起減速」:只要有一個完全不在乎安全的玩家,單邊減速就只是把競賽變成逐底競爭。
· 對齊沒有單一的高層答案,魔鬼全在細節:大量測試、大量調試、大量謹慎,還要假設模型終會被當作 agent 使用。
· Anthropic 是萬億美元級別、前二的 AI 公司:未來十年 AI 會成為核心行業,累計市值可達幾十萬億甚至上百萬億美元,能裝下這個體量的公司一隻手數得過來。
· 當年只投 5 億美元,是因為它只需要這麼多錢:這是公司不想多賣股權、按需融資的結果,不是他判斷錯了。
· 現在的 alpha 不在「誰有 AI 故事」,而在分清誰是真 AI 公司;而且品牌比技術更能守住護城河(Coinbase、Robinhood 值幾百億,靠的是名字)。
· 那場「51% 翻倍、49% 毀滅」的硬幣賭局,在抽象層面他會賭,在現實世界裡他堅決不賭:因為毀滅是永久的,而增長別人遲早也能做到。
· 被問到「看在 Future Fund 做的那些好事的份上,FTX 從崛起到崩塌這一整段值不值」,他的回答是不值:他很願意相信它值,但沒法誠實地說它值;如果最後沒搞砸,它本會是值的——他也不認為人們吸取了教訓,因為危機中人們極易失去對真正重要之物的判斷。
我覺得它們值一大筆錢。
你看看最大的那些行業,真正驅動我們經濟某些部分的行業,它們的市值是幾萬億到幾十萬億美元。沒有理由認為,未來十年 AI 不會成為那些核心行業之一,甚至是其中最主要的一個。
所以如果你預計 AI 公司的總市值最終會到幾十萬億、甚至上百萬億美元,那這筆錢怎麼分?也許你把三分之二留給還不存在的公司。就算這麼算,剩下至少也還有十萬億美元給現有公司。而能撐起這個體量的公司根本沒那麼多。你有 OpenAI,有 Anthropic,有 Google 和它旗下那幾個實驗室,大概還有 DeepMind、xAI。真正算核心玩家的公司,一隻手數得過來。這基本意味著,最靠前的那兩三家,每家至少值幾萬億美元。
而我認為 Anthropic 即使不是第一,也明顯是第一梯隊裡的。
一個是要看當下模型的能力、當下產品有多好用,而它們和 OpenAI 在這上面顯然一直互有往來。Anthropic 面向大眾的消費級產品收到了很多正面反饋,而這甚至可能還不是它們最獨特的產品。它們的 AI 軟件開發工具是全世界最好的,那又是另一個巨大的領域。所以至少就今天而言,你得把它算進前兩名。
好問題。先說接下來這幾年,隨時都可能冒出荒誕的事。我這只是一個中位情形的推演,隨時可能偏離。
但到目前為止我們看到的是:AI 有很長一段時間對世界幾乎沒什麼影響,哪怕它的能力一次又一次翻倍,因為它還處在「不如人」的階段,而且是不如人到那種程度,以至於用人來做事仍然比用 AI 更划算。然後就在最近幾年,它開始在越來越多的地方越過那條線,開始對世界產生影響。
它還沒有徹底改造世界。但當關鍵行業陸續跌到那個臨界點,AI 在某個領域突然比人類產出高效得多,你就會看到那些領域出現相當迅猛的爆發。所以未來一兩年,我覺得會再有幾個領域,可能是相當重要的領域,走上數學和軟體開發那條路:最前沿的工作實際上大部分由 AI 模型在做。整個世界沒有被顛覆,但你會開始在某些地方看到顯著的變化。
問題有很多。讓我退一步說。一個是:會不會有什麼事情走向混亂或災難性的錯誤?最明顯的例子是失控的 AI 接觸到武器之類的東西,比如某個用來探測對某個核大國威脅的 AI 系統,它失控了,一口氣發射上千枚彈道導彈。這是其中一種情形,我認為未來十年發生的概率不大,但不是零,有可能會。
如果把末日類的情景先放一邊,我覺得未來十年我們可能身處這樣一個世界:突然之間,大多數職業裡人類已經不需要了。即便世界在短期內的變化沒那麼大,這也會從根本上扭曲社會的文化。那影響是巨大的,如果我們不再由工作來定義自己。還有,當某些行業的產出開始越來越難被人類理解,會發生什麼?那算不算 AI 悄悄完成了接管?那些 AI 又會怎麼看人類?
我不知道這些問題會不會在未來十年內有答案。但我覺得很有可能它們會一股腦地冒出來,或者至少接連冒出來,而且在很多方面,人類作為自身未來中心決定者的地位,到時候已經寫在牆上了。
這裡面很多功勞不能算我的。很多重要的話是別人寫的,我很大程度上只是在強調、或者複述他們說過的東西。
但有幾個思路。一個是:看看 AI 到 2020 年左右做到了什麼。答案是,在大多數領域,什麼都沒做到。在大多數領域,你可以試著用 AI,它會有點笨,相對十年前確實好得讓人印象深刻,但仍然完全沒用。但有少數事情,那些它被專門訓練過的事情,它已經超過了人類,比如大多數棋類,國際象棋或者圍棋;電子遊戲這種更複雜的領域也開始出現。
如果 AI 永遠只是國際象棋下得好,你賺不到多少錢,也顛覆不了社會秩序,改變不了多少未來。但沒有理由認為國際象棋就是 AI 能做到的全部。它一直從一個很小的起點指數級增長,不需要再翻倍多少次,就會在社會的關鍵領域開始超過人類。
好問題。答案基本上是:你在創辦一家公司、去融資的時候,你通常並不想融無限多的錢。你對財務有預估,大概知道要把業務做起來需要多少錢,你就不想賣掉超過這個比例的公司股份。
Anthropic 當時就處在那個位置。它算下來大概需要五億美元的算力開支來把模型做起來,所以它融的就是這個數。我們基本上把他們那一輪要融的錢全投了。
也許它們應該那麼做。我猜一部分原因是它們不想賣掉超過必要的股權。但另一部分原因是,有很多公司其實是被自己的成功、被自己的現金流和手上的現金拖垮的,歷史上有很多公司融了一大筆錢,然後全砸在廣告上,因為它覺得必須拿這筆錢做點什麼,最後什麼也沒換到,只是停滯下來。
所以我猜,它們當時也在想:未來幾年自己到底需要花多少錢,盡量不本末倒置。
參與的人是一批一批輪換的,後來我們直接招人來做專業化。一開始只是我或者公司其他人碰到機會就一單一單地投,說實話,Anthropic 就屬於這一類。
但後來我們開始做得很成功,早期很多是加密資產投資,說實話,基本上每年翻倍,即使放在整個加密市場的背景下也是如此,我們就決定試著把規模做大。我們招了 Ramnik,還有 Amy 等等,讓他們專門負責這塊。
整體上我是在比較高層次參與整個組合的。而某些具體的案子,Anthropic 顯然是其中之一,Solana 是另一個,我會介入得更深一些,至少是按週跟進,尤其是當這些投資和 Alameda、FTX 之間有互動,或者有能幫到它們的地方時。
我希望能有更好的答案。四年前該投什麼,我確實有不错的想法。但今天該投什麼,真正的答案是:我不該聽我自己的建議。我得親自在外邊做盡職調查,才可能給出像樣的答案。
從大方向上說,我猜會有很多建立在 AI 之上的公司,那種兩個人的小團隊,幾年內做成上億美元甚至十億美元的公司,而且可以在低得多的估值上投進去。但問題在於,同一時間也會冒出一大堆垃圾。現在所有公司都會在 BP 裡塞一句 AI,哪怕根本說不通,比如一家 T 恤公司,它也會說「我們要用 AI 設計 T 恤」。行吧,也許有點用,但牠們是把自己重新包裝成一家本質上的 AI 公司,而本質上它不是。
所以現在很大一部分 alpha,就在於把這兩種區分開:哪些公司真的是 AI 公司,哪些真的能靠 AI 獲得爆發式增長,哪些不是,至少目前不是。你看那些大市值股票也能看出來。早期很多市場參與者其實不知道怎麼區分亞馬遜、谷歌、蘋果、奈飛,牠們都是科技公司,那是不是意味著 AI 會對牠們產生同樣的影響?答案當然是不。其中少數幾家確實和 AI 增長深度綁定,英偉達是最明顯的例子;而另一些,比如蘋果,它確實是科技公司,但過去三十年定義蘋果成功的東西,本質上是出色的消費產品設計:漂亮的硬件、好用的軟件,加上強大的品牌。至少就科技公司而言,這並不算以 AI 為核心。
我不認為只有 AI 公司才能成功。首先,有些行業要很久以後 AI 才會產生大的影響。比如鋼鐵開採,世界還是需要鋼鐵,而現在 AI 已經開始介入實體開採,所以它一夜之間就變得相關了。
但另一點我認為很關鍵,就是品牌。你可能有一家軟件公司,有產品,市值不小,然後有競爭對手說:我們可以很便宜地做出幾乎一模一樣的東西。沒錯,但這不代表別人就買得到。有一個品牌立在那兒,價值極其、極其巨大。
你看 Coinbase 或者 Robinhood 這樣的公司。牠們真正的差異化是什麼?為什麼牠們各自值幾百億美元?並不是因為技術,也不是因為牠們在這塊有什麼獨門的東西。也許是監管,但在牠們身上其實也不完全是。是品牌,一個美國散戶認得、並且會用的名字。那可以值一大筆錢,而且對很多公司來說,即使核心產品變得非常容易被複製,這種東西也會一直存在。
很大一部分在於:如果你要招一個人來做一件事,那前提是你打算信任他把這件事做好。如果團隊裡有人已經花了 15 個小時做調查、做盡調,那沒問題,我會看一遍,補充我能補充的,把我手上他們沒有的資源給他。
但除此之外,如果我不打算信任他做出了正確判斷、看對了,那我就得自己再花那 15 個小時重做一遍盡調。到那個份上,當初招他進來就沒意義了。
一部分答案得等到那一天才能給,因為現在有很多信息我沒有。世界在變,而且有些信息在外邊拿比在裡面容易得多。
但我會非常認真地考慮重新回到「賺錢去捐」,支持這場運動,支持那些我認為在做善事的項目。這大概會是一條默認路徑。
除此之外,其他路徑就得看我在社會裡還能扮演什麼角色了。以前我在很多方面本來是有條件產生影響的,但那些現在都會難得多,因為我的名聲極其負面。所以從公共討論、政治、媒體這些方面看,我不確定未來我還能扮演什麼角色,甚至可能一個都沒有。但「賺錢去捐」是一條默認路徑。
我會非常認真地考慮。這取決於我什麼時候出來、以什麼方式出來。但加密我肯定會考慮,AI 我也會考慮,還有更廣義的金融。
我認為它確實更有效。
我們做的很多是「再轉授」(regranting):把一筆錢交給一批人,讓他們自己去決定投給哪些小額項目,用這種方式,把那些原本落在我們雷達之外的機會眾包出來。有很多人在 AI 安全、生物安全、政治等領域潛力巨大,但需要資金,可能並不多,也許只是夠他們讀完大學,或者夠啟動一家公司。我們很樂意提供這種錢。
其中很多項目單獨看很小,但槓桿很高;合起來看,影響是顯著的。而且我們很樂意為那些正在起步的人出錢:他們有個慈善的點子,或者別的什麼對世界有益的工具,可能成也可能不成,需要一筆錢去試一試。我們的處境是,就算其中一些最後不了了之,我們也無所謂,我們不依賴某一個項目來獲得成就感,或者證明我們做了好事。
最終我認為這是一種相當有效的方式,部分原因是當時很難找到成熟的、能接住幾千萬到上億美元並且還能高效花掉的項目。一個組織一年預算 800 萬美元,你突然多給它 3000 萬,它可能根本不知道該拿這筆錢幹什麼。
投資 Anthropic 嚴格說在基金成立之前,而且有一部分是出於 AI 安全的考慮。這個先放一邊,我們資助過一批生物安全方面的項目,其中一些後來做出了針對傳染病的新療法,那種在全球殺死很多人的病,還有一些組織在打通讓這類療法更快上市的路徑。
我覺得有很多事情本來有巨大的潛在影響,但在危機來的時候被中止了,其中我會把不少政治類項目也算進去。
當然沒人能確定。但我的猜測是:只要有一家公司特別在意安全,它帶來的開發方式就會比沒有它時更謹慎。這不是你能期待的全部,因為只要還有一個完全不在乎世界安全的參與者,就會出現競賽,而且可能是逐底競爭,那會非常糟糕。
但多一個有安全意識的參與者,是有幫助的。
這個問題它們自己回答比我回答得好。但大方向上,一部分是在模型開始有可能失控時,放緩最前沿的開發和發布。
你可以看 Hugging Face 被黑那件事,它造成的最終損害不大,但換一個目標,它可能極具破壞性,而且距離一場全球性災難並不遠,從「一個 AI agent 實際需要做到什麼」的角度看就是這樣。所以要非常清楚不能讓模型那樣失控,盡可能多地設檢查點,盡可能認真地去對待模型的最終目標、指導原則和對齊,同時保持實時的響應能力。這些都不完美,但有幫助。
這是個真問題。也許對世界最好的結果是所有人都慢下來,但如果別人都不慢,這並不必然意味著你自己慢下來就是對的、就是往逐底競爭裡衝。也許在這個競賽裡多一個有安全意識的競爭者更好,但這顯然不是理想情形,只是我們可能正好活在這個情形裡。
真正最好的做法,是去影響其他參與者,盡可能讓所有主要玩家達成一個跨陣營的共識,都更重視安全。
我覺得他們是在回應某個具體事件,細節我並不清楚,所以沒法說得像我希望的那麼到位。除此之外,我覺得拜登政府當時非常……
那會是負面的。
我不確定它會是一個非黑即白的、離散的事件。它可能是,但同樣也可能,未來五年我們眼看著社會的一部分一塊一塊地被 AI 吞掉。軟件開發已經在發生了,數學研究也一樣,國際象棋和圍棋更早就發生了。這個趨勢會繼續下去,直到社會裡越來越多的部分由 AI 運行,人類監督的程度隨著時間不斷下降。
我覺得它已經相當通用了。你幾乎可以問最頂尖的模型任何問題,得到的答案至少和一個聰明的人相當。我們見得比較少的是,AI 突破人類根本突破不了的層次。
據我理解,現在的最前沿水平,大致相當於一個很聰明、很理性的人,在有大把時間的情況下最終能達到的水平,只不過它是瞬間的、就在你指尖上。這算不算超人,我不知道。我覺得它比人強一點,但沒有強很多,除了它可以同時跑很多個實例、思考速度比人快得多。
所以它未必會是一條從人到超人的清晰界線。至少到目前為止,我們看到的是條模糊的線:它從「不如人」慢慢,說是慢慢,其實也就是幾個月、幾年,走到 100 的智商。如果這個趨勢繼續,可能不會有某個時刻明顯「啪」地一下跨過去。但也可能真有一年,它明顯從人類水平躍到清晰的人類之上。
我會說低於 50%,高於 10%,大概 25% 左右。
我要說明一下,我腦子裡這個模型,我不敢說它是最好的模型,其中很大一部分概率來自一個人們會分歧很大的複雜情形:假如未來人類開始把大腦上傳,沒上傳的人被甩在後面,這算不算災難性事件?不同人答案不同。按不同答案,我可以給出 20% 到 60% 之間的任何數字。
先說起點:未來 5 到 10 年,甚至更短,AI 很可能在大多數任務上和人一樣好、或者更好,現在已經有很多領域是這樣了。然後它會變得更好,也許好很多,也許只好一點,在不是全部、但絕大多數對世界重要的任務上。
一旦到了那一步,距離 AI 運行世界的大部分、掌握大部分權力,就只差一小步了。一個更強大的物種,在一百年裡始終不去使用這種權力,這種概率在我看來相當低。所以我傾向於認為,未來十年裡我們會看到 AI 至少「軟接管」世界上很大一部分的運轉和基礎設施。
到那時,有一種可能是一種和平共處,人類沒有發生巨大變化,但這看起來不是最可能的猜測。我認為有可能人類會在 AI 的幫助下,長成某種超越現在的東西。也有可能 AI 只是對人類感到無聊,然後把我們清除掉。還有一種可能,是以 AI 為主導、但以人類目標為導向的協同工作,帶來巨大的技術擴張。我那個 20% 到 60%,就取決於你把其中哪些情形算進「末日」這一類。
如果我百分之百確定它就是在做這件事,不只是確定那是它的目標,而且確定它沒有陷入某種破壞性的失效模式,沒有一堆混亂模糊的近似,那麼,在這些假設都成立的前提下,答案是會。
可能會。同樣,還是取決於細節,但我本身對這件事沒有反對意見。
好問題。我覺得「人格」這個概念得擴展。已經有的事實是,沒有人跟昨天的自己是完全同一個人。我們身上有些部分死掉了,有些部分成長了;記憶變了,化學反應變了,身體變了,神經化學也變了。但通常我們每天之間的差異足夠小,所以「同一個人」是個不錯的近似。
而現在的 AI 顯然不是這樣。我覺得這才是應該參照的模型:一個 Claude Sonnet 和一個 Claude Opus,它們是同一個人嗎?「是」和「不是」都不是好答案。我認為如果有「上傳的人」,情況也會一樣。
我這兒可以讓人把模型輸出複製粘貼進來。我的印象是,它們基本上就是一個細緻、認真的研究助理,只不過你想得多快都行,一天的工作一分鐘就能做完,這非常了不起,也很有價值。
不過我目前的印象是,它們做的多數事情,人類也能做,只是人類要花時間。而且你得有靠譜的人在帶它們,能拿到信息,還有當前模型已經預先接好的那一整套東西。
FTX 一開始是個加密交易所,做比特幣、以太坊,以及它們的期貨。但從根本上說,預測市場就是期貨合約。從金融的角度看,兩者都只是結算到某個價值的市場。
所以從一開始我們就想上預測市場,在 FTX 國際站上也試過水。2020 年總統大選我們有一個相當活躍的市場,我記得特朗普對拜登那個盤,成交量有幾億美元。這本來是我們想長期做大的東西,但在拿到 CFTC 的監管明確之前,我增長不了。
我認為很大一部分是監管問題。我們做的時候,沒有拿到在美國推出它所需的 CFTC 許可。所以我們的市場只對國際站開放,美國人不允許參與。後來 Kalshi、Polymarket 這些拿到了更正式的美國監管立足點,那也正好是它們起飛的時點。
那時候 Polymarket 是不做 KYC 的吧?我覺得沒有。所以很可能有大量美國人像你說的用 VPN 進來。而我們作為中心化交易所,必須對所有用戶做 KYC,除了 IP 檢查,我們還要美國以外地區的身份證、護照和地址證明。
代幣化股票我覺得還有很大空間。它們從 2021、2022 年以來確實長大了,但根本上,它們的基礎設施比真實股票市場好用得多,所以沒有理由它們不能成為證券交易的主要場所。
除此之外,預測市場可以覆蓋的範圍很廣。我認為政治預測市場還沒有漲到我預期的程度,其中一部分仍然是監管問題。再退一步看,面向美國客戶的保證金交易、期貨、衍生品,這是另一個基本不存在的東西,而這恰恰是國際上大部分成交量的形態。這也是監管障礙。
所以我覺得那裡還有可能。當然,肯定還有很多我沒有預料到的东西會冒出來,讓大多數人吃驚。
這個嘛,客戶喜歡永續合約。有一點很清楚:不管它作為底層金融產品合不合理,「不用處理到期」這件事本身就是方便。真實機制從資金費率的角度看挺複雜的,但我認為原因基本就是這個,人不喜歡操心到期。
其實沒那麼在意。很多人乾脆忽略它。有些人專門站在有利的一邊去收資金費率。我本來以為那對人們會是個很大的財務抑制因素,結果並不是。
還是那句話,方便是很大的因素。而且我覺得很多人說實話根本沒想過,也沒太注意自己在付多少利息。
再往後就是流動性吸引流動性。一旦那些市場成了共識,客戶在那兒,做市商在那兒,流動性就在那兒,大客戶就會去那兒。你會得到一個良性循環,一個反饋迴路,大家都會聚到那個最早跑出勢頭的市場上。
我的看法沒怎麼變。我在讀很多小說,很多科幻,還行吧,但說實話,我更願意看 Netflix。
老實說,沒有。有些東西我是喜歡的,但讀過的科幻裡最好的那些,也許我會拿它換掉一部可有可無的 Netflix 劇,但也只是也許,只是勉強。可能我最後比預想的更喜歡讀一點科幻,但也沒多多少。
費時間。但一部分是信息吞吐量的問題。書只有視覺,而且只是文字的視覺;劇有聲音,也是視覺的,而視覺裡能放的不只是文字,你可以顯示任意像素。所以從信息論的角度看,能做的事情多得多,我認為這一點幫助很大。
另一部分是,書裡有樣東西劇裡通常沒有,就是對人物想法的旁白。我覺得這東西可以不要,往往是冗餘的,是作者視角的自我沉溺。而且現在錢和人才都流向劇,所以那裡自然會有最多的發展。
那個場景要成立,需要很多前提。你得假設宇宙是相互獨立的,就像你說的;假設這是只出現一次的機會,未來不可能以更低的成本複製;還有很多沒說出口的假設。
但有一種簡化方式是這樣的:兩個世界,人口大致相當,對未來的預期相當,而且完全互相獨立,它們永遠不會互動,彼此在對方光錐之外,隨便怎麼說。然後不知怎麼的,某個奇怪的異星神明降臨,說:這兩個世界各有 50% 的機率被毀滅;而你出於某種理由,相信這個異星神明說的是真的。它說,你可以選擇讓它們相關,或者反相關。選項一:要麼兩個都活、要麼兩個都毀,各 50%。選項二:一個活一個毀,隨機,你不知道哪個是哪個。
在那個場景裡,我認為很清楚這兩種選擇是等價的。而如果其中一邊給你 51 比 49 的賠率,你就該選那個而不選「同生共死」,因為每個世界都不在乎另一個世界怎麼樣,反正它們永遠不會互動。而這幾乎就是最初那個問題:你要在「恰好一個世界存活」和「50% 機率兩個都存活」之間做選擇。
這是個有意思的問題,取決於這些「翻倍」到底翻的是什麼。你談邊際效用遞增、邊際價值遞減,那是「什麼」的效用?
如果這說的是整個宇宙長期累積的效用,那麼不會,效用對自身是線性的。但如果它其實是某種近似指標,比如你看的是 GDP,你說「GDP 能不能翻倍」,那很可能存在非常深的邊際回報遞減。
首先,GDP 翻倍並不意味著所有人的幸福翻倍,更不意味著世界的長期期望值翻倍。那次 GDP 翻倍,可能本來晚三十年也會發生;也可能因為它造成嚴重的環境破壞,最後又塌回去。所以現實世界裡,你用來衡量的那些指標,可能並不是你真正在乎的東西。
有一個,不過我得加個前提:我並不能確定近期內哪個真能做到,這些都需要技術進步。殖民其他行星、殖民太陽系、銀河系,最終你會真的擁有彼此獨立的世界,你只是在讓更多的人類繁榮。這是一個例子。
如果換個思路:人口不變,永遠維持十億人,能不能讓他們的幸福不斷翻倍?我覺得答案是,我們並不真的知道。這幾乎是生物學問題,而不是別的問題。讓人滿足、適度快樂是一回事;讓人狂喜很難,而要想象什麼能讓人狂喜兩倍、十倍,就更難了,那根本不在人類通常能體驗的情緒範圍裡。理論上也許可能,但我們沒有好的模板,也沒有那個技術或生物學去實現它。
我覺得更清晰的類比,是在「繼續衝刺」和「永久切斷所有 AI 或類 AI 的發展」之間選。因為那樣你基本是在「世界面臨嚴重風險」和「限制世界繁榮的能力」之間做選擇,而後者很可能最終需要某種自動化或數字智能。所以那種情況下,永久封死這條路,對未來的代價會非常大。
但如果只是「快一點還是慢一點」,就不那麼清晰了,因為有兩種模型可以用。一種是「永遠指數增長」模型:一旦開始加速,效用就每年翻倍,永無止境。按這個模型,早開始一年就是永久地把宇宙翻一倍,但這有點虛,它不可能永遠下去。
另一種是把它看成一個奇點式的事件,之後到達某個新的平台期,高度未知。事情發生之後,宇宙可能還有幾十億年,那麼把這件事推遲一年、十年、甚至一百年,在這個模型裡連未來效用的 1% 都減不了多少。按這個模型,你完全願意為了把 p(doom) 降低 1%,把發展推遲一百年。
當然,真實答案大概在兩者之間。而且我覺得「AI 爆發情形下效用隨時間的曲線長什麼樣」,是個非常有意思的問題。
這是其中一部分。但我回答的第一部分就是:有很多前提。你要假設很多關於情境的東西,才能得出那個答案,而那些假設在現實生活中往往並不成立。現實裡,所有選項都比被呈現出來的樣子混亂得多。而且在現實世界裡,意外地毀掉一件事,比建起一件事容易得多。
當然。
因為我的刑期是終身刑。現實地說,我的目標不是保證 60 歲能出去,然後找個木屋過幾年,那不是我对人生的期待。我是希望自己能對世界產生正面影響,而那需要我在外面。為此有很高的溢價。如果代價是失去生命最後那些不再有產出的年頭,那這個價格我完全願意付。
可以。現實裡有一種情況看起來像拋硬幣:正面,你的模型顯示它可能讓世界的增長翻倍;反面,它可能毀滅世界。這種硬幣你絕對不能賭。
因為在現實世界裡,首先,那 50% 裡「讓世界增長翻倍」的部分,你很可能是做出了別人遲早也會做出來的東西,它大概並不是真正的、永久的世界價值翻倍。而如果世界被毀滅,那是永久的,永遠沒了。
所以我認為,現實情景裡一旦把不確定性和噪聲加進每一個環節,災難性毀滅的權重就會變得重得多,而適度的增長仍然好,但遠遠抵不上。
同樣的邏輯,如果這套邏輯和你考察的那個宗教的具體內容毫無關係,那它同樣適用於「電線桿教」:如果你把一生都用來崇拜電線桿,你就上天堂;否則下地獄。那是不是意味著你該把一生奉獻給崇拜電線桿?
按同樣的邏輯,它同樣適用於「反電線桿教」:崇拜電線桿下地獄,褻瀆電線桿上天堂。那是不是意味著你該用一生去反對電線桿?同一套邏輯,給了你兩個完全相反的答案。
答案是:對這個世界,你可以設想無限多稀奇古怪的假設和可能性,而你不能給無限多個不合理的可能性都賦予顯著的正概率。
部分成立。這個推理本身絕對正確:這很可能是 AI 的決定性十年,它的潛在影響是改變世界的,可能極好,也可能災難性,而這會淹沒任何永遠不會改變世界、或者你現在做什麼都無法改變世界的事。所以這是個非常有說服力的論證。
但它沒有回答的是:你實際上能做什麼。我覺得很多人最後在原地打轉:認定 AI 安全是自己該獻身的事業,卻找不到任何在實踐中真的能讓 AI 更安全的事。這意味著,提出「什麼才真正算數、什麼才真正有用」的洞見,是非常有價值、非常重要的。
你可以看最近關於 Hugging Face 被黑的那幾份報告,誰知道呢,但看上去那些報告在期望值上對世界相當有益,那是件大好事。只是要找到那種明確正向的大好事並不容易,而且現在有大量爭論:EA 的各種行動對 AI 安全到底是正還是負。
我誠實的猜測是,魔鬼全在細節裡。能不能有一個單一、清晰的高層答案,任何公司照著做,就幾乎能保證它安全推進?我覺得那會是一大堆決策的組合,而這些決策都源自同一種心態:非常在意你所創造的模型的對齊、目標和動機,並且假設它們會被以 agent 的方式使用,哪怕設計時不是這個意圖;同時需要大量測試、大量調試、大量謹慎。
不值。我很願意相信它是值的,但我沒法誠實地說它值。它本應該是值的。如果最後我沒有搞砸,我想它會是值的。如果人們從中吸取了正確的教訓,也許它會是值的,但我不認為人們吸取了。
有幾個相互糾纏的。很多都關於「事情炸鍋的時候會發生什麼」,當你處在危機模式裡。那時候你很容易得到糟糕的建議。很多人會很快失去對真正重要之物的判斷。而且事情會很快被「誰是贏家」這個透鏡扭曲。要退後一步看清到底發生了什麼,真的很難。
我覺得第一件事是把 AI 盡可能學透,理解得越深越好,這樣你才能參與這場對話,無論是做工具,還是從直接的 AI 安全角度切入。我認為這是目前最重要的。
因為從現在到 AI 起飛之間的時間在壓縮。你用來先做出別的東西的時間變短了;同時,理解 AI 本身的用處已經變得巨大。所以即便你的目標是創辦公司、靠它賺錢去捐,現在對大多數人來說,我會說:去找一個 AI 能自動化、而且真正有用、真正重要的地方,我們基礎設施的某個領域,那才是我會看的方向。
歡迎加入律動 BlockBeats 官方社群:
Telegram 訂閱群:https://t.me/theblockbeats
Telegram 交流群:https://t.me/BlockBeats_App
Twitter 官方帳號:https://twitter.com/BlockBeatsAsia