视频標題：硅谷坐標 x Fireworks 聯創 Benny Chen：開源模型、token 增速、推理優化和模型定制
視頻作者：Silicon Valley Vector 硅谷坐標
編輯：Peggy，BlockBeats

編者按：在開源模型加速逼近閉源前沿模型、推理價格持續下降的背景下，行業討論正在從「誰擁有能力最強的模型」轉向「誰能以更低成本把模型投入生產」。但當模型能力趨同、Token 消耗增長成為共識，一個更底層的問題開始浮現：企業真正願意付費的，究竟是更便宜的模型調用，還是能夠穩定完成具體任務的專屬智能？

近日，《硅谷坐標》主持人曹卿雲與 Fireworks AI 聯合創始人陳宇飛進行了一場對談。Fireworks 位於模型與企業應用之間，主要為客戶提供開源模型推理、性能優化和定制服務。相比單純討論開源能否追平閉源，陳宇飛的觀察更接近真實工作負載：Token 流向哪裡、企業為何付費，以及模型從概念驗證走向生產還缺少什麼。

在這場對談中，陳宇飛是將「開源與閉源誰會勝出」拆解為一組更底層的結構性問題：Token 增長能否轉化為收入，通用能力能否替代垂直積累，低價模型能否通過企業評估，以及推理平臺如何在雲廠商和應用公司之間獲得價值。

第一，是開源模型的使用規模與商業價值正在分化。過去，能力追趕和調用價格是判斷開源競爭力的主要指標；如今，Fireworks 平臺每天處理約 40 萬兆至 50 萬兆個 Token，開源模型的實際使用量已經快速擴大。但免費流量、促銷補貼和模型價格差異，會讓 Token 統計高估部分需求。客戶可能大量調用低價模型，卻仍把最高預算交給效果最好的閉源模型。這意味著，開源的下一階段不再只是擴大流量，而是證明其能夠在高價值任務上達到甚至超過前沿模型，並把成本優勢轉化為付費意願。

第二，是通用模型與垂直模型開始沿著不同方向演進。過去，每次前沿模型升級，都可能直接淘汰一批微調模型；現在，法律、醫療、編程等垂直應用正在積累更細的評估、數據和工作流，其優化目標也與前沿實驗室逐漸分離。通用模型需要提高能力上限，垂直模型則要在有限場景內穩定交付結果。前者可以解決更廣泛的問題，後者卻更理解用戶如何定義「正確」。這意味著，垂直公司的壁壘並不只是擁有一個定制模型，而是能夠持續把行業需求轉化為評估體系，並隨著基礎模型更新反覆遷移。

第三，是企业 AI 落地的瓶颈正在从模型供给转向评測能力。過去，企業概念驗證往往依賴試用體驗和主觀判斷；現在，當 AI 進入呼叫中心、法律檢索和醫療輔助等生產環節，僅憑「看起來效果不錯」已經無法支持採購決策。企業必須知道模型在哪些任務上有效、何時失效，以及從閉源切換至開源會改變多少成本和質量。評測因此不再是附屬工具，而是連接採購、訓練與生產部署的基礎設施。誰能定義任務、建立測試分佈並持續更新標準，誰才真正掌握模型選擇權。

第四，是推理平臺的價值正在從「賣便宜算力」轉向組織模型、硬體與工作流。過去，推理優化主要被理解為降低單個 Token 的成本；現在，快取、任務拆分、模型路由和上下文管理都可能直接改變任務完成率。不同模型不必爭奪同一個位置，而可以分別擔任執行者和顧問。Fireworks 的商業邏輯也由此成立：不自建重資產硬體，而是通過訓練、定製和持續推理，將收入與客戶模型的實際使用綁定。但這條路徑的主要對手並非單一新雲公司，而是能夠同時控制算力、軟體和客戶入口的大型雲廠商。

第五，是開源模型崛起未必削弱基礎設施需求，反而可能壓縮模型層溢價，並把價值進一步推向推理和算力。科技巨頭持續增加資本支出，也不只是計算短期回報，而是在權衡錯過 AI 週期的長期風險。不過，對依賴外部融資的新雲公司而言，債務成本、項目延期和回本周期仍會構成更直接的約束。模型越來越便宜，不代表建設和運行 AI 系統也會同步變輕。

如果將這場對談壓縮為一個判斷，那就是：開源模型追平只是起點，AI 商業化的下一階段，將圍繞評測、定製、推理效率和客戶工作流展開。

以下為原文內容（為便於閱讀理解，原內容有所整編）：

TL；DR

·開源模型正在快速追平閉源模型，但 Token 增長不等於收入增長，企業預算仍優先流向效果最好的模型。

·蒸餾只能幫助開源模型短期縮小差距，長期競爭力仍取決於獨立訓練、評測數據、人才與算力。

·通用模型升級不再必然淘汰垂直模型，法律、醫療等場景的壁壘正在從模型能力轉向評測、數據與工作流。

·企業 AI 從 PoC 走向生產的關鍵不在增加模型選擇，而在建立能夠衡量質量、成本和失敗邊界的評測體系。

·推理優化已從降低單一 Token 成本擴展到快取、任務拆分和模型路由，系統設計本身可以讓多模型組合超過單一前沿模型。

·定製模型更適合覆蓋大量同類客戶的垂直 SaaS 平台，單一企業通常缺少足夠廣泛的數據分布和持續評估能力。

·Fireworks 的競爭力不在持有 GPU，而在連接訓練、定製與持續推理，但真正的長期對手仍是能夠覆蓋完整技術棧的雲巨頭。

·開源模型普及未必削弱硬件需求，它更可能壓縮模型層溢價，並將產業價值重新分配至算力、推理基礎設施和企業工作流。

專訪要點

開源會繼續追趕，但蒸餾不是長期答案

Fireworks 團隊多來自 Meta 的 PyTorch 生態。基於過去操作系統、數據庫等軟體的發展經驗，團隊長期相信，具有重要價值的軟體最終會出現具備競爭力的開源方案。大模型可能沿著類似路徑發展，只是這一輪追趕速度比陳宇飛原先預計得更快。

一方面，OpenAI、Anthropic 等閉源模型公司的年度經常性收入仍在迅速增長；另一方面，中美開源模型也在快速縮小能力差距，並把推理價格壓到很低。開源與閉源並非一方增長、另一方必然衰退的零和關係。

對於部分開源模型通過閉源模型輸出進行蒸餾，陳宇飛認為，這種方式可以幫助模型在短期內達到較高水平，卻很難成為可靠的長期路徑。閉源廠商可以逐步修補 API 和安全機制，降低推理過程及相關數據被提取的可能性。

但開源模型的進步也不完全依賴蒸餾。只要評估體系不斷完善、數據成本繼續下降，加上足夠的人才、GPU 和工程能力，開源團隊仍然可以獨立訓練出具有競爭力的模型。Meta 等擁有算力和人才儲備的公司，沒有理由長期與閉源前沿模型保持巨大差距。

這不代表閉源模型會失去市場。陳宇飛將二者類比為蘋果和安卓：開放生態可能承接更大的使用規模，持續領先的閉源產品則可以憑借穩定體驗、品牌認知和企業信任，保留價格敏感度較低的高價值客戶。

企業採購往往偏向保守。「沒有人會因為購買 IBM 而被解雇」，描述的正是這種決策心理。只要客戶仍然相信採購頭部閉源模型更加穩妥，OpenAI、Anthropic 等公司就能維持一定優勢。相比短期技術差距，用戶心智和市場進入能力可能更難改變。

陳宇飛預計，閉源模型公司的 ARR 仍會增長，但這一數字未必完整反映其最終獲得的經濟利益。例如，部分收入可能需要與雲廠商分成，ARR 上漲不一定轉化為相同比例的會計收入和利潤。閉源模型的議價權是否下降，要等相關公司披露更完整的財務信息後才能判斷。

長期來看，開源可能取得更大的調用規模，閉源則繼續掌握利潤更高的需求。決定兩者商業邊界的，不只是模型能力，還包括品牌、渠道、客戶信任和收入分配方式。

Token 正在流向開源，收入卻仍追隨效果

据陳宇飛介绍，Fireworks 平台目前每天處理約 40 萬億至 50 萬億個 Token。按其援引的公開口徑，這一規模已經超過 Gemini 和 OpenAI 對外公布的企業 API 流量。

平台上的主要需求來自編程、醫療、協同辦公和深度研究。其中，越來越多原本不被視為編程的任務，正在被重新定義為「編程問題」。

PowerPoint、Excel 等辦公軟件便是典型案例。當模型能夠通過代碼或結構化工具操作這些軟件，既有的代碼生成、工具調用和強化學習方法就可以被遷移到辦公場景。許多垂直 SaaS 公司也在把行業工具封裝成模型可以調用的環境，再通過強化學習，讓模型熟悉特定工作流程。

陳宇飛將當前需求大致歸納為兩類：一類是編程，另一類是深度研究。不同垂直應用會結合兩者，形成面向法律、醫療、辦公等場景的專屬 Agent。

他尤其看好面向非技術用戶的協同辦公產品。此前行業的大部分資源被投入數學、編程等「理科生需求」，但生成幻燈片、處理文檔和製作視頻等面向廣泛知識工作者的需求，可能增長得更快。

計算機操作 Agent 的發展則比此前預期緩慢。一年多前，這類產品一度被認為可以繞過複雜 API，像人一樣直接使用電腦；實際發展中，企業為了降低成本，反而把更多工作流轉向純文本。文本模型更便宜，也更容易嵌入現有流程。隨著虛擬機成本下降和運行環境改善，計算機操作 Agent 仍可能獲得更大空間，但具體優化路徑仍在探索。

不過，Token 增長不能直接代表商業價值。公開模型路由榜單經常受到免費額度和推廣活動影響，相同數量的 Token 也可能對應完全不同的價格。低價模型產生的流量，與昂貴前沿模型產生的流量，在收入層面的意義並不相同。

陳宇飛認為，收入比 Token 數量更能反映客戶的真實選擇。當企業對價格不敏感時，預算仍會流向效果最好的模型。因此，Fireworks 幫助客戶定制模型時，首要目標通常不是做到「性價比不錯」，而是在具體任務上達到甚至超過頭部閉源模型。

編程市場同樣存在使用量與收入分化。Token 消耗大概率會持續增長，但如果常用模型不斷降價，更低價格會刺激更多調用，卻不一定同步擴大市場收入。正如電力普及不意味著利潤都由發電企業獲得，AI 調用量增長也不能直接回答產業價值最終落在哪一層。

未來一段時間，開源模型的使用量可能繼續上升，但相關支出能否同步擴大，取決於企業是否願意投入資源進行定制。如果越來越多公司能讓定制開源模型在具體任務上挑戰閉源模型，流量和收入會進一步向開源遷移；如果定制成本、失敗率和組織能力繼續構成障礙，閉源模型仍會承接大部分高價值需求。

通用模型抬高能力上限，垂直模型積累任務壁壘

每當新的前沿模型發布，市場都會重新提出一個問題：企業投入數據和資金微調的模型，會不會迅速失去價值？

陳宇飛表示，2025 年確實有不少定制模型被新一代基礎模型取代，但到 2026 年，這種情況已經明顯減少。在他看來，這是垂直模型商業價值逐步穩定的積極信號。

原因在於，通用模型與垂直應用正在沿著不同方向優化。前沿實驗室需要證明模型能夠解決更困難的數學、科學和藥物研發問題；法律、醫療等垂直公司關注的則是具體用戶需求、任務完成率、引用準確性和工作流程是否可靠。

「把一個垂直領域的 Agent 做好，和解決黎曼猜想，可能是兩種完全不同的工作。」

以法律 AI 公司 Harvey 為例，其優勢不僅來自使用了哪一個基礎模型，還來自對法律任務的拆解、評鋪體系、數據處理和產品流程。醫療場景同樣如此，不同產品需要圍繞醫生的工作方式、資料來源和準確性要求建立專門標準。

這些評鋪和數據不會隨著新模型發布而自動失效。基礎模型升級後，垂直公司可以把既有訓練環境遷移到新模型上，而不必重新理解整個行業。隨著評鋪越來越細、數據清洗流程越來越成熟，垂直模型形成的是一種圍繞具體任務持續積累的能力。

理論上，前沿模型公司也可以集中資源進入法律或醫療市場，並在單一領域擊敗現有產品。但這種做法未必符合其商業目標。通用模型公司需要服務廣泛客戶，如果把大量資源投入一個垂直領域，可能難以支撐其追求的市場規模和估值。

陳宇飛將通用模型比作需要照顧廣泛口味的連鎖餐廳，垂直模型則更像專注少數菜品的餐廳。後者不需要解決所有問題，只要在目標任務上顯著優於通用方案，就可能建立獨立的付費空間。

這種不均衡但高度專業化的能力，也被他稱為「Jagged Intelligence」。一個法律模型或許無法解決黎曼猜想，卻可以在某類法律任務中超過規模更大的通用模型。對企業客戶而言，能否可靠完成工作，往往比模型是否具備更寬泛的能力更重要。

並非所有企業都適合定制模型。陳宇飛認為，最合適的客戶是服務大量同類機構的垂直 SaaS 公司，而不是單一醫院、律所或終端企業。

垂直 SaaS 平台能夠接觸大量客戶，理解不同機構之間的共同需求，也可以建立覆蓋更多情況的評測體系。單一企業通常缺乏足夠廣泛的數據分佈和持續評測能力，與其獨立訓練模型，不如將內部流程固化成技能、工具或 Agent，再調用外部基礎模型完成任務。

在定制強化學習項目中，GPU 是主要成本，數據和訓練環境同樣關鍵。團隊需要檢查模型是否出現獎勵黑客，即利用評測漏洞獲得高分，卻沒有真正完成任務；同時還要確保訓練環境穩定，並能夠擴大訓練規模。

初始環境不一定需要達到數十萬條。陳宇飛表示，上千個訓練環境就可能啟動強化學習，因為模型會在訓練過程中反覆探索並生成大量軌跡。假設每個訓練步驟對一條環境運行 128 次，一千條初始數據便可能生成約 12.8 萬條訓練軌跡。

定制模型上線後仍需「回爐」。當新的開源基礎模型發布，平台可以把原有訓練和評測體系遷移到新模型上。只要評測標準和任務環境已經固定，遷移本身不一定耗時；真正持續產生工作量的，是客戶加入新的場景、工作流和更困難的任務。

因此，垂直公司的核心資產不是某一代模型的權重，而是能夠隨著基礎模型更新反覆遷移的數據、評測和工作流。

企業 AI 卡在 PoC，缺的不是模型而是評測

企業選擇開源還是閉源模型，首要考慮的並不只是性能和價格，而是信任。

由於企業合同通常持續一至兩年，採購方需要判斷服務商及其生態能否長期支持業務需求。開源模型可能更便宜、更靈活，但閉源廠商在品牌傳播、成功案例和市場認知上依然佔優。

陳宇飛認為，開源模型及其服務商目前最明顯的短板不是技術，而是市場進入能力。閉源模型公司可以不斷通過新的能力演示和研究成果強化用戶認知，開源生態卻缺少統一的市場推廣和客戶溝通體系。

部署方式也在變化。早期企業更關注本地部署，如今越來越多工作負載轉向雲端。只要服務商能夠在安全、虛擬私有雲等環節建立信任，多租戶雲服務通常比企業獨佔 GPU 更具經濟性。

單個企業未必能夠讓一批 GPU 始終保持高利用率，平台則可以聚合不同客戶的需求，提高硬件使用效率。當推理成本在企業運營支出中的占比上升，共享基礎設施帶來的成本優勢會更加明顯。

企業從概念驗證走向生產，最大的障礙之一則是缺少嚴謹的評測。許多公司即使已經把 AI 用於呼叫中心等重要環節，判斷模型效果的方式仍接近憑感覺試用，而不是建立能夠重複運行的測試標準。

沒有評測，企業既無法穩定比較開源與閉源模型，也無法判斷模型更新是否真正改善了業務。陳宇飛因此認為，能夠設計 AI 評測的人才仍然稀缺。一套可靠的評測體系，可能幫助企業完成模型替換，並節省遠高於其建設成本的長期支出。

這與傳統軟體公司的單元測試沒有本質區別。過去，SaaS 公司需要在軟體交付前運行一套測試；如今，垂直 AI 公司需要建立一組評測，確認 Agent 在投入生產前達到相應標準。行業工作的重心正在從部分「寫測試」轉向「寫評測」，但核心仍是把產品質量轉化為可衡量、可積累的組織能力。

第三方數據公司的發展也可以作為觀察企業 AI 落地的指標。如果其客戶繼續集中於少數前沿實驗室，說明普通企業建立獨立 AI 能力的空間仍然有限；如果收入來源逐漸分散，則可能意味著更多企業開始購買數據、搭建評測並訓練自己的模型。

企業真正缺少的不是更多模型，而是一套能夠定義正確、識別失敗並支援採購決策的標準。

推理優化從降低 Token 成本走向系統調度

Fireworks 的第一門核心業務是推理優化。陳宇飛認為，這項工作仍有很大空間，因為一個模型剛發布時的運行效率，與經過長期優化後的表現通常存在明顯差距。

平台要解決的問題，是如何縮短這段優化周期，讓新模型上線時就盡可能接近最佳狀態。除了模型運行時本身，緩存、調度和配套基礎設施都會影響最終成本。許多優化來自大量細碎的工程工作，因此推理優化仍是一項勞動密集型業務。

相比模型開發者提供的第一方 API，Fireworks 同時服務大量基礎模型和定制模型，可以觀察到更多不同的流量模式和工作負載。模型廠商首先要把自己的模型穩定地服務給廣泛用戶，第三方平台則可以針對特定客戶的請求特點進行更細緻的優化。

模型路由也不僅是為了降低成本。Fireworks 與 Harvey 的一項聯合實驗中，系統讓一個模型擔任任務執行者，另一個模型擔任顧問，把長上下文任務拆成若干較短的子任務。由於大模型的效果可能隨著上下文變長而下降，合理分工後，系統整體表現反而可能超過單獨使用最強模型。

陳宇飛將這一過程類比為 CPU 性能優化。開發者需要了解處理器的特性，再把程序拆成適合該處理器的工作負載。同樣，在 AI 系統中，基礎模型可以被視為一種文本處理器：團隊需要先理解不同模型的能力邊界，再設計任務框架，最後把合適的模型放到合適的位置。

硬件優化也不能只看 GPU、HBM、CPU 和網路的單項指標。模型在訓練之初，通常已經針對現有硬件的計算與內存比例進行設計。因此，模型從英偉達 GPU 遷移至特性相近的 AMD GPU 相對容易，遷移至架構不同的 ASIC 則可能需要大量工作。

一種新硬件能否成功，不只取決於參數是否接近英偉達，還在於供應規模、軟體生態和經濟激勵能否促使開發者針對它優化模型。即使硬件配置與英偉達相似，如果開發者無法通過使用它獲得足夠回報，也很難形成生態。

推理平台最終優化的並不只是模型運行速度，而是模型、任務和硬體之間的匹配方式。

Fireworks 不持有硬體，但要連接訓練與推理

面對 AI 雲廠商向軟體層擴張，Fireworks 暫時沒有自建硬體或重資產購買 GPU 的計劃。陳宇飛將公司的模式形容為更接近「二房東」：從基礎設施供應方獲取算力，把重點放在計算軟體、推理服務和模型定制上。

Fireworks 與一般 AI 雲平台的差異，在於平台上的大部分流量並非來自未經修改的基礎模型，而是定制模型。陳宇飛認為，基礎模型推理的競爭會越來越激烈，利潤更可能來自能夠為客戶交付更好結果的專屬模型。

Fireworks 將訓練與推理連接成同一門生意。公司幫助客戶訓練模型，並希望模型上線後的推理流量持續增長。與只收取訓練費用或諮詢費用的服務商相比，這種收入結構讓平台與客戶的長期使用效果更加一致：客戶通過模型產生更多價值，Fireworks 才能從持續推理中獲得更多收入。

一些強化學習服務商只提供訓練或諮詢，其收入與模型上線後的使用效果未必直接相關。Fireworks 的商業邏輯則是通過訓練提升模型效果，再從後續推理流量中獲得回報。它出售的不是一次性的訓練項目，而是讓客戶模型持續產生使用量的能力。

真正有能力覆蓋整個鏈條的競爭者，不是單一新雲公司，而是 AWS、微軟 Azure 和 Google Cloud 等大型雲服務商。它們既擁有算力，也可以建設強化學習服務、推理平台和開發工具。

Fireworks 一方面與雲廠商競爭，另一方面也依賴其基礎設施並與其合作。目前公司與 Azure 合作最為緊密，客戶可以使用 Azure 額度購買 Fireworks 服務，同時也與 AWS 和 Google Cloud 開展合作。

陳宇飛認為，Fireworks 當前的推理優化能力仍優於雲廠商的同類服務，但單點性能並不是最穩固的壁壘。更重要的是完成從訓練、部署、評測到推理的整個機器學習運營周期，為開發者提供連貫體驗。相較新雲公司，Fireworks 覆蓋的鏈條更長；相較雲巨頭，它需要在專業化和執行速度上保持優勢。

即便未來 AI 能夠自動完成內核、推理和後訓練優化，理解客戶需求仍可能是一項難以完全替代的工作。一個系統或許能夠解決複雜數學問題，卻未必能憑空理解企業的流程、約束和評判標準。Fireworks 的長期價值最終仍取決於能否把客戶需求轉化為模型、評測和可運行的產品。

開源壓縮模型溢價，算力仍是最終約束

未來一至兩年，Fireworks 面臨的最大挑戰仍是算力。公司能否以合理價格獲得足夠多的運算資源，將直接限制收入增長。陳宇飛將 Fireworks 目前的狀態概括為「受算力約束」，並判斷至少未來一年，市場整體仍可能維持這一狀態。

這也影響了他對科技巨頭 AI 資本開支的看法。市場通常從投資回報率出發，判斷 Google、Meta 等公司是否投入過度；但對這些公司而言，另一種風險可能更大：如果 AI 最終帶來極高回報，而自己因為減少投入錯過這一輪競爭，便可能永久失去牌桌上的位置。

因此，即使短期超額投入，代價也可能只是財務報表承壓，以及未來數年需要消化折舊。對擁有長期現金流和融資能力的科技巨頭而言，這通常不是生存風險；錯過關鍵技術周期卻可能是。

新雲公司的情況有所不同。它們需要更嚴格地計算項目回報、融資成本和回本周期。陳宇飛建議關注相關公司的債券評級、項目延期和再融資能力。如果未來 3 至 6 個月有參與者因信用問題無法繼續借款，需要進行債務重組，市場是否還有資金願意接手，將成為檢驗 AI 基礎設施融資能力的關鍵節點。

對於「開源模型追平閉源模型將壓低硬件需求」的市場敘事，陳宇飛持懷疑態度。在他看來，開源模型能力提升首先削弱的是模型層的溢價能力。如果整體 AI 支出不變，價值反而可能向提供算力和基礀設施的公司轉移。

不過，AI 資本開支最終能否兌現足夠回報，仍是一個沒有答案的問題。算力項目往往需要數年才能收回投資，而一年後的供需格局已經很難預測。現階段相對清晰的信號是，無論 Fireworks 還是其服務的許多客戶，仍然在尋找更多算力。

開源與閉源的競爭不會僅由模型排行榜決定。當能力差距持續縮小，產業價值將更多取決於誰能定義任務、驗證效果，並以可持續的成本把模型投入生產。

[Video Link]

歡迎加入律動 BlockBeats 官方社群：

Telegram 訂閱群：https://t.me/theblockbeats

Telegram 交流群：https://t.me/BlockBeats_App

Twitter 官方帳號：https://twitter.com/BlockBeatsAsia