首頁

Partnered With:

促進資料流動：如何藉助加密技術打破AI資料訓練的瓶頸？

閱讀本文需 52 分鐘

在創造最聰明、最類人AI模型的競賽中，關鍵資源是數據。

原文標題：The Data Must Flow

原文作者：SHLOK KHEMANI

原文編譯：深潮TechFlow

看看你是否能發現圖像中所有精心策劃的參考資料

在過去兩年裡，自從一家相對不知名的新創公司OpenAI 發布了名為ChatGPT 的聊天機器人應用程序，AI 從幕後走向了台前。我們正處於機器智慧全面滲透生活的關鍵時刻。隨著對控制這種智慧的競爭愈發激烈，驅動其發展的數據需求也不斷增加。這就是這篇文章的主題。

我們討論了 AI 公司所需的資料的規模和緊迫性以及它們在獲取資料時面臨的問題。我們探討了這種難以滿足的需求如何威脅到我們所熱愛的網路及其數十億貢獻者。最後，我們介紹了一些利用加密技術來提出解決這些問題和擔憂的新創公司。

在深入探討之前需要說明一點：這篇文章是從訓練大型語言模型（LLMs）的角度寫的，並非所有 AI 系統。因此，我經常將“AI”和“LLMs”互換使用。

展示資料

LLMs 需要三個主要資源：運算能力、能源和資料。在大量資本的支持下，公司、政府和新創企業同時在爭取這些資源。在這三者中，對運算能力的競爭最為引人注目，這部分歸功於英偉達股價的快速上漲。

訓練LLMs 需要大量專用的圖形處理單元（GPUs），特別是NVIDIA 的A100、H100 和即將推出的B100 型號。這些計算設備並不是你可以從亞馬遜或本地電腦商店購買的。相反，它們的價格高達數萬美元。 NVIDIA 決定如何在其 AI 實驗室、新創公司、資料中心和超大規模客戶之間分配這些資源。

在 ChatGPT 推出後的 18 個月內，GPU 的需求遠遠超過了供應，等待時間高達 11 個月。然而，隨著新創公司關閉、訓練演算法和模型架構的改進、其他公司推出的專用晶片以及 NVIDIA 擴大生產，供需動態正在正常化，價格也在下降。

其次是能源。運行資料中心中的 GPUs 需要大量的能源。根據一些估計，到 2030 年，資料中心將消耗全球能源的 4.5%。隨著這種激增的需求給現有電網帶來壓力，科技公司正在探索替代能源解決方案。亞馬遜最近以 6.5 億美元購買了一個由核電廠供電的資料中心園區。微軟已經僱用了一位核子技術主管。 OpenAI 的 Sam Altman 支持了 Helion, Exowatt 和 Oklo 等能源新創公司。

從訓練 AI 模型的角度來看，能源和運算能力只是商品。選擇 B100 而不是 H100，或選擇核能而不是傳統能源，可能會使訓練過程更便宜、更快或更高效，但不會影響模型的品質。換句話說，在創造最聰明、最類人 AI 模型的競賽中，能源和運算能力只是基本要素，而不是決定性因素。

關鍵資源是資料。

James Betker 是 OpenAI 的研究工程師。他自己說，訓練了比任何人都有權利訓練的更多的生成模型。在一篇部落格文章中，他指出，「在相同的資料集上訓練足夠長時間，幾乎每個模型都有足夠的權重和訓練時間，最終都會收斂到同一點。」這意味著區分一個AI 模型與另一個模型的因素是資料集，而不是其他。

當我們稱一個模型為「ChatGPT」、「Claude」、「Mistral」或「Lambda」時，我們並不是談論其架構、使用的GPUs 或消耗的能源，而是其訓練的資料集。

如果資料是 AI 訓練的食物，那麼模型就是它們所吃的東西。

要訓練一個最先進的生成模型需要多少資料？答案是非常多。

GPT-4 仍然被認為是發布一年多後的最佳大型語言模型，估計使用了12 兆個標記（或約9 兆個單字）進行訓練。這些資料來自對公開可用網路的爬取，包括維基百科、Reddit、Common Crawl（一個免費的、開放的網頁抓取資料儲存庫）、超過一百萬小時的轉錄YouTube 資料以及程式碼平台如GitHub 和Stack Overflow。

如果你認為這已經是很多數據了，請稍等。在生成AI 中有一個稱為「Chinchilla Scaling Laws」的概念，這意味著對於給定的計算預算，將較小的模型在較大的資料集上訓練比在較小的資料集上訓練較大的模型更為有效。如果我們推算AI 公司預計用於訓練下一代AI 模型（如GPT-5 和Llama-4）的運算資源，我們會發現這些模型預計將需要五到六倍的運算能力，使用多達100 兆個標記進行訓練。

隨著大部分公開網路資料已經被抓取、索引並用於訓練現有模型，額外的數據將來自哪裡？這已成為 AI 公司面臨的前沿研究問題。有兩種解決方案。一種是產生合成數據，即由 LLMs 直接產生的數據，而不是人類。然而，這種數據在使模型更聰明方面的有用性尚未經過測試。

另一種方法是簡單地尋找高品質資料而不是合成生成。然而，獲得額外數據是具有挑戰性的，特別是當 AI 公司面臨的問題不僅威脅到未來模型的訓練，也威脅到現有模型的有效性時。

第一個資料問題涉及法律問題。 儘管 AI 公司聲稱使用的是「公開可用資料」，但其中許多資料是受版權保護的。例如，Common Crawl 資料集中包含了《紐約時報》和《美聯社》等出版物的數百萬篇文章以及其他受版權保護的資料。

一些出版物和創作者正在對 AI 公司採取法律行動，指控其侵犯版權和智慧財產權。《紐約時報》起訴了 OpenAI 和微軟，指控其「非法複製和使用《紐約時報》的獨特有價值的作品」。一群程式設計師聯合提起集體訴訟，質疑使用開源程式碼訓練 GitHub Copilot（一種流行的 AI 程式設計助手）的合法性。

喜劇演員 Sarah Silverman 和作者 Paul Tremblay 也起訴 AI 公司，指控其未經許可使用他們的作品。

其他人則透過與 AI 公司合作來接受變革。《美聯社》、《金融時報》和 Axel Springer 都與 OpenAI 簽署了內容授權協議。蘋果正在探索與康泰納仕和 NBC 等新聞組織達成類似協議。谷歌同意每年支付 Reddit 6000 萬美元，以存取其 API 進行模型訓練，而 Stack Overflow 與 OpenAI 達成了類似的協議。 Meta 據稱曾考慮直接購買出版公司 Simon & Schuster。

這些安排與 AI 公司面臨的第二個問題——開放網路的關閉——不謀而合。

網路論壇和社群媒體網站已經認識到，AI 公司透過使用其平台資料訓練模型所帶來的價值。在與Google（以及未來可能與其他 AI 公司）達成協議之前，Reddit 開始對其以前免費提供的 API 收費，終結了其流行的第三方客戶端。同樣，Twitter 也限制了 API 的訪問，並提高了價格，Elon Musk 利用 Twitter 數據為他自己的 AI 公司 xAI 訓練模型。

即使是較小的出版物、同人小說論壇和其他生產內容供所有人免費消費（如果有的話，透過廣告貨幣化）的互聯網小眾角落，現在也在關閉。網路曾被設想為一個神奇的網路空間，每個人都可以找到一個分享其獨特興趣和怪癖的部落。那種魔力似乎正在慢慢消失。

這種訴訟威脅、多百萬美元內容交易的增加以及開放網路的關閉有兩個含義。

1. 首先，資料戰爭嚴重傾向科技巨頭。新創公司和小公司既無法存取以前可用的 API，也無法負擔購買使用權所需的資金，而沒有法律風險。這顯然具有集中特性，富人可以購買最好的數據，從而創建最好的模型，變得更富有。

2. 其次，使用者生成內容平台的商業模式越來越不利於使用者。像 Reddit 和 Stack Overflow 這樣的平台依賴數百萬未付費的人類創作者和管理員的貢獻。然而，當這些平台與 AI 公司達成數百萬美元的協議時，他們既不補償也不徵求用戶的許可，沒有這些用戶，就沒有數據可供出售。

Reddit 和 Stack Overflow 都因為這些決定而經歷了顯著的用戶罷工。聯邦貿易委員會（FTC）也對 Reddit 將用戶貼文出售、授權和分享給外部組織用於訓練 AI 模型的行為展開調查。

這些問題對於訓練下一代 AI 模型以及網路內容的未來提出了相關問題。按照目前的情況，未來看起來不太樂觀。加密解決方案能否在某種程度上為小型公司和網路使用者提供公平競爭的機會，解決其中的一些問題？

資料管道

訓練 AI 模型和創建有用的應用程式是複雜且昂貴的工作，需要數月的計劃、資源分配和執行。這些過程包括多個階段，每個階段都有不同的目的和數據需求。

讓我們分解這些階段，以了解加密技術如何適應更大的 AI 拼圖。

預訓練

預訓練是LLM 訓練過程中第一步且最耗費資源的步驟，形成了模型的基礎。在這一步驟中，AI 模型在大量無標籤文字上進行訓練，以捕捉世界的通用知識和語言使用資訊。當我們說 GPT-4 使用了 12 兆個標記進行訓練時，這指的是預訓練中使用的資料。

要理解為什麼預訓練是 LLM 的基礎，我們需要對 LLM 的工作原理有一個高層次的概述。請注意，這只是一個簡化的概述。你可以在 Jon Stokes 的優秀文章、Andrej Karpathy 的有趣影片或 Stephen Wolfram 的出色書籍中找到更詳盡的解釋。

LLMs 使用一種稱為 Next-Token Prediction 的統計技術。簡單來說，給定一系列標記（即單字），模型嘗試預測下一個最可能的標記。這個過程重複進行，形成完整的反應。因此，你可以將大型語言模型視為「完成機器」。

讓我們用一個例子來理解這一點。

當我問ChatGPT「What direction does the sun rise from（太陽從哪個方向升起）？」時，它首先預測出單字「the」，然後依序預測出「sun rises from the East」這句話中的每一個字。但這些預測從何而來？ ChatGPT 如何確定在「the sun rises from」之後應該是「the East」而不是「the West」、「the North」或「Amsterdam」？換句話說，它如何知道“the East”比其他選項更有統計可能性？

答案是從大量高品質訓練資料中學習統計模式。 如果考慮到互聯網上的所有文本，什麼更有可能出現--"太陽從東方升起 "還是 "太陽從西方升起"？後者可能出現在特定的脈絡中，例如文學隱喻（"這就像相信太陽從西邊升起一樣荒謬"）或關於其他星球的討論（例如金星，太陽確實從西邊升起）。但總的來說，前者更為常見。

透過重複預測下一個單詞，LLM 形成了一種通用的世界觀（我們稱之為常識）和對語言規則和模式的理解。另一種理解 LLM 的方法是將其視為互聯網的壓縮版本。這也有助於理解為什麼數據需要既是大量的（更多模式可供選擇），也是高品質的（提高模式學習的準確性）。

但如前面討論的，AI 公司正在耗盡用於訓練更大模型的資料。訓練資料需求成長的速度遠快於開放網路中新資料產生的速度。隨著訴訟的臨近和主要論壇的關閉，AI 公司面臨嚴重的問題。

對於較小的公司來說，這個問題更加嚴重，因為它們無法負擔與 Reddit 等專有數據提供商達成數百萬美元的交易。

這引出了 Grass，一家去中心化的住宅代理提供商，他們旨在解決這些數據問題。他們稱自己為「AI 的資料層」。讓我們先了解一下什麼是住宅代理商提供者。

網際網路是訓練資料的最佳來源，抓取網際網路是公司取得這些資料的首選方法。在實踐中，抓取軟體在資料中心託管，以實現規模、便利和效率。但擁有有價值數據的公司不希望其數據被用於訓練 AI 模型（除非他們得到報酬）。為實施這些限制，他們通常會阻止已知資料中心的 IP 位址，防止大規模抓取。

這時，住宅仲介提供者派上用場。網站僅阻止已知資料中心的 IP 位址，而不阻止像你我這樣的普通互聯網用戶的連接，使我們的互聯網連接，或住宅互聯網連接，變得有價值。住宅代理商提供者聚合了數百萬這樣的連接，以大規模抓取 AI 公司的資料。

然而，中心化的住宅代理提供者運作隱蔽。他們通常不明確他們的意圖。使用者如果知道某個產品在使用他們的頻寬，可能不願意分享。更糟的是，他們可能要求為產品使用的頻寬得到補償，這反過來又減少了他們的利潤。

為保護他們的底線，住宅代理提供者將其消耗頻寬的代碼搭載在分佈廣泛的免費應用程式中，如手機實用工具應用（如計算器和語音記錄器）、VPN 提供者甚至消費者電視螢幕保護程式中。用戶認為他們在獲取免費產品，實際上一個第三方住宅提供者在消耗他們的頻寬（這些細節通常隱藏在很少有人閱讀的服務條款中）。

最終，這些資料中的一些會流向 AI 公司，他們用這些資料訓練模型並為自己創造價值。

Andrej Radonjic 在經營自己的住宅代理商提供者時，意識到了這些做法的非道德性質及其對使用者的不公平性。他看到加密技術的發展，識別出了創建更公平解決方案的方法。這就是 Grass 在 2022 年末的成立背景。幾週後，ChatGPT 發布，改變了世界，把 Grass 放在了正確的時間和地點。

與其他住宅仲介提供者所使用的隱密策略不同，Grass 明確告知使用者其頻寬的使用情況，以訓練AI 模型為目的。作為回報，用戶會直接獲得獎勵。這種模式顛覆了住宅代理商提供者的運作方式。透過自願提供頻寬並成為網路的部分擁有者，使用者從被動的參與者轉變為積極的倡導者，提高了網路的可靠性，並從 AI 產生的價值中獲益。

Grass 的成長令人矚目。自 2023 年 6 月推出以來，他們已擁有超過 200 萬活躍用戶，這些用戶透過安裝瀏覽器擴充功能或行動應用程式來運行節點並貢獻頻寬。這種成長在沒有外部行銷成本的情況下實現，得益於一個非常成功的推薦計畫。

使用 Grass 的服務允許各類公司，包括大型 AI 實驗室和開源新創公司，以較低的成本獲取抓取訓練資料。同時，每個普通用戶透過分享其網路連線獲得報酬，並成為不斷增長的 AI 經濟的一部分。

除了原始抓取資料外，Grass 也為客戶提供一些附加服務。

首先，他們將非結構化網頁轉換為易於 AI 模型處理的結構化資料。這一步驟，稱為資料清洗，是 AI 實驗室通常承擔的資源密集型任務。透過提供結構化、清潔的資料集，Grass 增強了其對客戶的價值。此外，Grass 還訓練了一個開源 LLM，以自動化抓取、準備和標記資料的過程。

其次，Grass 將資料集捆綁了不可否認的來源證明。鑑於高品質資料對 AI 模型的重要性，確保資料集未被惡意網站或住宅代理商提供者篡改對於 AI 公司至關重要。

這個問題的嚴重性在於像Data & Trust Alliance 這樣的機構的成立，這是一個包括Meta、IBM 和沃爾瑪在內的20 多家公司組成的非營利組織，共同努力創建數據溯源標準，幫助組織確定一個資料集是否適合且值得信賴。

Grass 也在採取類似措施。每次 Grass 節點抓取一個網頁時，它也會記錄驗證該網頁來源的元資料。這些溯源證明儲存在區塊鏈上，並與客戶分享（客戶可以進一步與其用戶分享）。

儘管Grass 正在Solana 上構建，這是吞吐量最高的區塊鏈之一，但在L1 上存儲每次抓取任務的溯源是不可行的。因此，Grass 正在建立一個 rollup（Solana 上的第一個 rollup 之一），使用 ZK 處理器批次處理溯源證明，然後發佈到 Solana。這個 rollup，Grass 稱之為「AI 的資料層」，成為他們所有抓取資料的資料帳本。

Grass 的 Web 3 優先方法使其相對於中心化住宅代理提供者俱有幾個優勢。首先，透過使用獎勵來鼓勵用戶直接分享頻寬，他們更公平地分配了 AI 生成的價值（同時也節省了支付應用程式開發者捆綁其代碼的成本）。其次，他們可以為提供客戶「合法流量」收取溢價，這在行業內非常有價值。

另一家在「合法流量」方面工作的協議是 Masa。該網路允許用戶傳遞其社交媒體平台（如 Reddit、Twitter 或 TikTok）的登入訊息。網路上的節點接著抓取這些平台的高度上下文相關的更新資料。這種模型的優點在於，收集的數據是一般用戶在其社群媒體平台上看到的內容。即時地，您可以獲得解釋情緒或即將成為病毒的內容的豐富資料集。

這些資料集的主要用途有兩個。

1. 金融- 如果你能看到成千上萬的人在其社交媒體平台上看到的內容，你可以基於這些數據開發交易策略。可以在 Masa 的資料集上訓練利用情緒資料的自主代理。

2. 社交 - AI 伴侶（或像 Replika 這樣的工具）的出現意味著我們需要模仿人類對話的資料集。這些對話還需要最新資訊。 Masa 的資料流可以用於訓練能夠有意義地討論最新 Twitter 趨勢的代理。

Masa 的方法是透過使用者同意從封閉花園（如 Twitter）獲取訊息，並使這些資訊可供開發人員用於建立應用程式。這樣一種社交優先的資料收集方法也允許建立圍繞區域語言的資料集。

例如，一個說印地語的機器人可以使用從以印地語操作的社交網絡中獲取的數據。這些網路開啟的應用前景尚待探索。

模型對齊

預訓練的 LLM 遠未準備好投入生產使用。想一想。模型目前只知道如何預測序列中的下一個單詞，而其他單詞都不知道。如果你給一個預先訓練的模型一些文本，例如“誰是中本聰”，任何這些都是有效的回應：

1. 完成問題：中本聰？

2. 將短語變成句子：是一個多年來困擾比特幣信仰者的問題。

3. 實際上回答問題：中本聰是創造比特幣、第一種去中心化加密貨幣及其底層技術區塊鏈的化名人物或團體。

旨在提供有用答案的 LLM 將提供第三種答案。然而，預先訓練的模型並不能做出一致或正確的答案。事實上，它們經常會隨機吐出一些對最終用戶毫無意義的文字。最糟糕的情況是，模型在保密的情況下給出了與事實不符、有毒或有害的資訊。當這種情況發生時，模型就會出現 "幻覺"。

這就是預訓練的GPT-3 如何回答問題的

模型對齊的目標是使預訓練模型對最終用戶有用。換句話說，是將其從一個單純的統計文本完成工具轉變為一個理解和對齊用戶需求並能進行連貫、有用對話的聊天機器人。

對話微調

這個過程的第一步是對話微調。微調是指在一個預先訓練的機器學習模型的基礎上，進一步在一個較小的、有針對性的資料集上進行訓練，以幫助其適應特定任務或用例。對於訓練 LLM 來說，這個特定的用例是進行類似人類的對話。自然，這個微調的資料集是一組人類生成的提示-反應對，展示給模型如何行為。

這些資料集涵蓋不同類型的對話（問答、摘要、翻譯、程式碼產生），通常由高學歷的人類（有時稱為AI 導師）設計，他們具有優秀的語言技能和主題專業知識。

最先進的模型如 GPT-4 估計在~100,000 對這樣的提示-響應對上進行了訓練。

提示-回應對的範例

從人類回饋中強化學習（RLHF）

可以將這一步驟視為類似於人類訓練寵物狗：獎勵好的行為，懲罰壞的行為。模型收到一個提示，其回應與人類標註者共享，標註者根據輸出的準確性和品質對其進行評分（例如 1-5 分）。 RLHF 的另一個版本是產生一個提示並產生多個回應，由人類標註者從最佳到最差進行排名。

RLHF 任務範例

RLHF 旨在引導模型朝向人類偏好和期望的行為發展。事實上，如果你是 ChatGPT 的用戶，OpenAI 也會將你作為 RLHF 資料標註者！這發生在模型有時產生兩個回應並要求你選擇更好的一個。

甚至是簡單的讚或點踩圖標，提示你評價回答的有用性，也是模型的一種 RLHF 訓練。

使用AI 模型時，我們很少考慮到背後投入的數百萬小時的人類勞動。這不僅僅是 LLMs 獨有的需求。歷史上，即使是傳統機器學習用例，如內容審核、自動駕駛和腫瘤檢測，也需要大量的人類參與進行資料標註。（這篇 2019 年《紐約時報》的優秀故事展示了 iAgent 印度辦公室背後的幕後故事，這家公司專門從事人類標註）。

Fei-Fei Li 用來創建ImageNet 資料庫的Mechanical Turk，被Jeff Bezos 稱為“人工的AI”，因為它的工作人員在AI 訓練中發揮的幕後作用。

在今年早些時候的一個離奇故事中，亞馬遜的Just Walk Out 商店，顧客可以簡單地從貨架上拿取物品然後走出（稍後自動收費），並非由某種先進的AI 驅動，而是由1000 名印度合約工手動篩選店鋪錄影。

關鍵是，每個大規模AI 系統在某種程度上都依賴人類， LLMs 只增加了對這些服務的需求。像 Scale AI 這樣的公司，其客戶包括 OpenAI，透過這種需求達到了 110 億美元的估值。甚至 Uber 也在重新安排一些印度工人在不駕駛車輛時標註 AI 輸出。

在成為全端 AI 資料解決方案的過程中，Grass 也正在進入這個市場。他們很快就會發布一個 AI 標註解決方案（作為其主要產品的擴展），用戶可以透過完成 RLHF 任務獲得獎勵。

問題是：Grass 透過去中心化的方式進行這個過程，相對於數百家在同一領域的中心化公司有哪些優勢？

Grass 可以透過代幣激勵來引導工人網絡。正如他們獎勵用戶分享其網路頻寬的代幣一樣，他們也可以獎勵人類標註 AI 訓練資料。在 Web2 世界中，支付給全球分佈的零工經濟工人尤其是全球分佈的任務，用戶體驗遠不及在像 Solana 這樣的快速區塊鏈上提供的即時流動性。

加密社區尤其是 Grass 現有的社區，已經有大量受過教育、互聯網原生、技術嫻熟的用戶。這減少了 Grass 在招募和培訓工人上需要花費的資源。

你可能會懷疑，標註 AI 模型響應以換取獎勵的任務是否會吸引農場主和機器人。我也曾經這樣想過。幸運的是，已經進行了大量研究，探索使用共識技術來識別高品質標註者並篩選機器人。

請注意，Grass 至少目前僅進入 RLHF 市場，而不幫助公司進行對話微調，這需要高度專業化的勞動力和更難以自動化的物流。

專門化微調

完成預訓練和對齊步驟後，我們就得到了所謂的基礎模型。基礎模型對世界如何運作有一個通用的理解，並能在廣泛的主題上進行流利的類人對話。它也對語言有很好的掌握，能夠輕鬆幫助使用者寫郵件、故事、詩歌、文章和歌曲。

當你使用 ChatGPT 時，你是在與基礎模型 GPT-4 互動。

基礎模型是一般模型。儘管它們對數百萬個主題有足夠的了解，但它們並不專門研究任何一個。當被問及幫助理解比特幣的代幣經濟學時，響應會有用且大多數情況下準確。然而，當你要求它列出類似 EigenLayer 這樣的再抵押協議的安全邊緣情況風險時，你不應該太相信它。

請記住，微調是指在一個預先訓練的機器學習模型的基礎上，進一步在一個較小的、有針對性的資料集上進行訓練，以幫助其適應特定任務或用例。之前我們討論了在將原始文字完成工具轉變為對話模型時的微調。同樣，我們也可以微調結果基礎模型，使其專門從事某一特定領域或任務。

Med-PaLM2 是 Google 基礎模式 PaLM-2 的微調版本，旨在提供高品質的醫學問題答案。 MetaMath 是微調在 Mistral-7B 上的數學推理模型。一些微調模型專門研究廣泛類別，如講故事、文本摘要和客戶服務，而另一些則專門研究細分領域，如葡萄牙詩歌、Hinglish 翻譯和斯里蘭卡法律。

要為特定用例微調模型，需要高品質的相關領域資料集。這些資料集可以來自特定網站（如本新聞通訊中的加密資料）、專有資料集（例如一家醫院可能會轉錄數千次的醫生-病人互動），或專家的經驗（需要詳細訪談以捕捉）。

隨著我們進入擁有數百萬AI 模型的世界，這些細分的長尾資料集變得越來越有價值。這些資料集的擁有者，從大型會計公司如 EY 到加薩的自由攝影師，這些資料集的所有者都在爭相購買這些正在迅速成為 AI 軍備競賽中最熱門商品的資料集。 Gulp Data 等服務的出現就是為了幫助企業公平地評估其資料的價值。

OpenAI 甚至發布了一項數據合作夥伴公開請求，尋求擁有「反映人類社會的大規模數據集，而這些數據集目前不易公開獲取」的實體合作。

我們知道至少有一個很好的方法來匹配尋找細分產品買家和賣家的需求，那就是網路市場。 Ebay 為收藏品創建了一個，Upwork 為人類勞動創建了一個，數不勝數的平台為無數其他類別創建了平台。毫不意外，我們也看到了細分資料集的市場的出現，有些是去中心化的。

Bagel 正在建立「人工通用基礎設施」，一套工具，使得「高品質、多樣化資料」的持有者能夠以無信任和隱私保護的方式與AI 公司共享其數據。他們使用零知識（ZK）和完全同態加密（FHE）等技術來實現這一目標。

公司通常擁有高價值的數據，但由於隱私或競爭問題無法變現。例如，一個研究實驗室可能擁有大量的基因組數據，但為了保護病人隱私不能共享，或者一個消費品製造商可能擁有供應鏈廢物減少數據，但在不透露競爭機密的情況下無法披露。 Bagel 利用密碼學的進步，使這些資料集變得有用，同時消除了附帶的擔憂。

Grass 的住宅代理服務也可以幫助建立專門的資料集。例如，如果你想微調一個提供專家烹飪建議的模型，你可以請 Grass 抓取 Reddit 的 r/Cooking 和 r/AskCulinary 等子版塊的資料。同樣，旅行導向模型的創建者可以要求 Grass 抓取 TripAdvisor 論壇的資料。

雖然這些不完全是專有資料來源，但它們仍然可以成為其他資料集的有價值補充。 Grass 還計劃利用其網路建立存檔資料集，任何客戶都可以重複使用。

上下文等級資料

試著問問你喜歡的LLM「你的訓練截止日期是什麼時候？這意味著基礎模型僅提供該日期之前的可用資訊。當你考慮到訓練這些模型（甚至微調它們）是多麼計算密集和耗時時，這一點是可以理解的。

要保持它們即時更新，你必須每天訓練和部署一個新模型，這簡直不可能實現（至少目前不可能）。

然而，對於許多用例來說，沒有關於世界最新資訊的 AI 是毫無用處的。例如，如果我在使用一個依賴 LLMs 回應的個人數位助理，當被要求總結未讀電子郵件或提供利物浦上場比賽的進球者時，這些助手將處於不利地位。

為了繞過這些限制並基於即時資訊提供使用者回應，應用程式開發者可以查詢並將資訊插入稱為基礎模型的「上下文視窗」的輸入文字中。上下文視窗是 LLM 可以處理以產生回應的輸入文字。它以標記為單位測量，表示 LLM 在任何給定時刻可以「看到」的文字。

所以，當我要求我的數位助理總結我的未讀電子郵件時，應用程式首先查詢我的電子郵件提供者以獲取所有未讀電子郵件的內容，將回應插入發送給LLM 的提示中，並附加一個類似「我已提供Shlok 收件匣中的未讀電子郵件清單。請總結它們。」的提示。 LLM 有了這個新情境後，便可以完成任務並提供回應。將這一過程視為你複製並貼上一封電子郵件到 ChatGPT 並要求它產生回應，但這一過程在後台進行。

為了創建具有最新回應的應用程序，開發者需要存取即時資料。 Grass 節點可以即時抓取任何網站的數據，為開發者提供低延遲的即時數據，簡化了上下文增強生成（RAG）工作流程。

這也是 Masa 今天的定位。就目前而言，Alphabet、Meta 和 X 是唯一擁有不斷更新使用者資料的大平台，因為它們擁有使用者基礎。 Masa 為小型新創公司提供了公平的競爭環境。

這個過程的技術術語是檢索增強生成（RAG）。 RAG 工作流程是所有現代 LLM 應用程式的核心。這個過程涉及文字向量化，即將文字轉換為數字數組，這些數組可以被電腦輕鬆解釋、操作、儲存和搜尋。

Grass 計劃在未來發布實體硬體節點，為客戶提供向量化、低延遲的即時數據，以簡化其 RAG 工作流程。

大多數業內人士預測，未來上下文層級查詢（也稱為推理）將利用大部分資源（能源、計算、數據）。這是有道理的。模型的訓練總是一個時間限制的過程，消耗一定的資源分配。應用層級的使用，另一方面，可以有理論上無限的需求。

Grass 已經看到了這一點，大部分的文字資料請求來自希望獲得即時資料的客戶。

LLMs 的上下文視窗隨著時間的推移而擴大。當 OpenAI 首次發布 ChatGPT 時，它的上下文視窗為 32,000 個標記。不到兩年後，Google的 Gemini 模型的上下文視窗超過了 100 萬個標記。 100 萬個標記相當於 11 本 300 頁的書——大量的文本。

這些發展使得內容視窗可以建構的內容的影響遠遠超過了存取即時資訊。有人可以，例如，丟入所有 Taylor Swift 歌曲的歌詞，或者這份通訊的整個存檔到上下文窗口，並要求 LLM 生成相似風格的新內容。

除非明確程式設計不允許，否則模型會產生一個相當不錯的輸出。

如果你能感受到這一討論的方向，請準備好接下來要討論的內容。到目前為止，我們主要討論了文字模型，但生成模型在其他模態（如聲音、圖像和視訊生成）上的表現也越來越出色。我最近在 Twitter 上看到了 Orkhan Isayen 的這幅非常酷的倫敦插圖。

Midjourney，一個流行且非常出色的文本到圖像工具，具有一個稱為風格調節器（Style Tuner）的功能，可以產生與現有影像風格相似的新影像（這項功能也依賴類似RAG 的工作流程，但不完全一樣）。我上傳了 Orkhan 的人類創作的插圖，並使用風格調節器提示 Midjourney 將城市改為紐約。這是我得到的：

四張圖片，如果你是瀏覽藝術家的插圖，可能很容易被誤認為是他們的作品。這些影像是在 30 秒內由 AI 基於單一輸入影像生成的。我要求『紐約’，但主題真的可以是任何東西。在其他模態，如音樂中，也可以進行類似的複製。

回想我們之前討論的部分，訴訟 AI 公司的實體之一是創作者，你可以明白他們為什麼有道理。

網路曾是創作者的福音，使他們能夠與全世界分享他們的故事、藝術、音樂和其他形式的創意表達；使他們能夠找到1000 個真正的粉絲。現在，同一個全球平台正成為對他們生計的最大威脅。

為什麼要支付 Orkhan 500 美元的佣金，而你可以透過 30 美元/月的 Midjourney 訂閱得到一個足夠好的相似作品？

聽起來像反烏托邦？

技術的奇妙之處在於它幾乎總是找到解決自身所創造問題的方法。如果你翻轉看似對創作者不利的情況，你會發現這是一個前所未有的機會，可以將他們的才華貨幣化。

在 AI 之前，Orkhan 可以創作的作品數量受到一天中時間的限制。透過 AI，他們現在理論上可以服務無限的客戶。

要理解我的意思，讓我們來看看 elf.tech，這是音樂家 Grimes 的 AI 音樂平台。 Elf Tech 讓你上傳一首歌的錄音，它會將其轉變為 Grimes 的聲音和風格。歌曲賺取的任何版稅將由 Grimes 和創作者五五分成。這意味著作為 Grimes 的粉絲，或者她的聲音、音樂或發行的粉絲，你可以簡單地想出一首歌的點子，該平台會使用 AI 將其轉變為 Grimes 的聲音。

如果這首歌走紅，你和 Grimes 都將受益。這也使得 Grimes 能夠被動地擴展她的才華和槓桿她的發行。

TRINITI 是 elf.tech 的核心技術，由 CreateSafe 公司開發。他們的論文揭示了我們所預見的區塊鏈和生成式 AI 技術最有趣的交集之一。

透過創造者控制的智慧合約擴展數位內容的定義，並透過基於區塊鏈的點對點支付存取微交易重新構想分發，使任何串流媒體平台能夠立即認證和存取數位內容。然後產生 AI 根據創造者指定的條款執行即時微支付並將體驗串流傳輸給消費者。

Balaji 更簡單地總結了這一點。