動察 Beating AI 快訊,李飛飛創辦的 World Labs 發布 Atlas,官方稱這是全球首個能精確控制鏡頭生成圖像和視頻,同時完成 3D 重建的多模態世界模型。
最直觀的玩法有點像全景無人機,但 Atlas 不需要真的把四周都拍下來。給它一到幾張照片,再畫一條鏡頭路線,它就能自己補出沒拍到的牆後、物體背面和周圍空間,讓虛擬鏡頭沿著指定路線飛過去。最高能生成 1 分鐘、1440p 視頻。
普通視頻模型主要根據文字或圖片繼續生成像素,鏡頭運動也通常靠「左移」「推進」這類文字描述。Atlas 會直接讀取相機在 3D 空間裡的位置和角度,還能生成深度和完整 3D 場景。輸入照片越多,它需要自己腦補的地方就越少。
這也是 World Labs 把它叫「世界模型」的原因。它不只是在猜下一幀長什麼樣,還要知道相機在哪裡、物體在哪裡、換個角度應該看到什麼。World Labs 還用它把真實空間變成機器人訓練用的仿真環境。Atlas 目前只向部分合作夥伴開放。