Pokee發布1000萬Token模型，上下文接近主流模型10倍

据動察 Beating 監測，AI Agent 創業公司 Pokee AI 發布 Pokee-Isaac 28B。模型參數總量只有 280 億，上下文視窗卻達到 1000 萬 Token。目前主流模型的上限約為 100 萬 Token，Isaac 接近它們的 10 倍。

Pokee 自測中，Isaac 在 RULER 長文本測試裡，從 25.6 萬到 400 萬 Token 一直保持在 95 分上下。拉滿 1000 萬 Token 後，得分仍有 93.3。其餘五款對照模型從 200 萬 Token 起都沒有返回可用結果。

Pokee 把超長上下文歸因於自研的「非純 Decoder-only 架構」，即沒有完全沿用常見大模型的純解碼器結構。不過，技術報告沒有公開具體架構、注意力機制和顯存方案，外界暫時無法判斷它究竟怎麼做到的。

Pokee AI 成立於 2024 年，由前 Meta 應用強化學習負責人朱哲清創辦。公司曾獲得 Point72 Ventures 領投的 1200 萬美元種子輪，高通創投和 Samsung NEXT 等參投。