游標重排 GPU 流水線，MoE 模型訓練加速 41%

据动察 Beating 监测，Cursor 开源 Mixture-of-Kittens（MoK），用于加速 MoE 大模型训練。它把原本分開的 GPU 資料傳輸和計算，合進一個 kernel（直接在 GPU 上運行的底層程序）。

MoE 會把模型拆成大量「專家」，每次只調用其中一部分。專家分散在不同 GPU 上，資料需要頻繁搬運，有時會佔掉一半以上的訓練時間。

MoK 讓 GPU 一邊傳資料，一邊做計算，減少等待。在 512 塊 GB300 GPU 的實際訓練中，整體吞吐提高 41%。單獨測試 MoE 層時，最高比公開方案快 2.37 倍。

MoK 已用於 Cursor 數萬塊 GPU 的 Composer 訓練，並以 Apache 2.0 開源。目前只支持英偉達 Blackwell GPU，主要面向擁有 GB200、GB300 NVL72 集群的機構。