動察 Beating AI 快訊,AI 數據公司 Idler 完成 900 萬美元種子輪融資,由 Paradigm 領投,Y Combinator、Long Journey Ventures 等參投。它主要給頭部模型公司製作評測、benchmark 和強化學習環境,讓 AI 在接近真實工作的場景裡反覆做任務、拿反饋,再繼續訓練。
Idler 此前主要做 Coding。過去一年已經為一家頭部 AI 實驗室製作數千個編程評測和訓練環境。YC 的公開資料還顯示,Idler 已經和一家頭部基礎模型實驗室簽下數百萬美元合同。
現在它開始把這套方法擴到真實企業工作。首個公開 benchmark ShelfLife,直接把一家正在運營的零售公司做成「數位孿生」。官網目前提供 200 個任務,數據來自這家公司近十年的真實經營記錄。Claude Opus 5 的通過率最高,為 69.0%;GPT-5.6 Sol 為 55.7%。
Idler 還用其中 41 個 ShelfLife 任務後訓練 NVIDIA Nemotron 3 Nano,將其在 Finance Agent Benchmark 上的成績從 30.0% 提升到 41.8%。
除了零售,Idler 已經開始製作企業法律等真實工作環境,目標就是把模型訓練從「做題」繼續推向「幹活」。