据動察 Beating 監測,扎克伯格今天發布長文,公開為模型蒸餾辯護。他認為,模型向其他模型學習本來就是開源生態的一部分。美國想繼續領跑開源 AI,就得放鬆對蒸餾和訓練數據的限制。
他還直接反駁「蒸餾有害」的說法:能觀察到的東西,就應該允許學習。美國如果先把自己綁住,只會讓其他國家的開源模型追得更快。
這正好和 OpenAI、Anthropic 最近的動作反著來。兩家公司都在嚴防競爭對手繞過限制、大規模抓取模型輸出;扎克伯格則認為,不能因此把模型之間的學習一起限制掉。
Meta 今天剛放出的 Muse Glimmer,本身就是用 Muse Spark 蒸餾出來的。