動察 Beating AI 快訊,11 月 19 日,火山引擎正式開放豆包實時音視頻模型 SeedRealtime 1.0 的 API。該模型今年 8 月就已在豆包 App 上線,如今第三方開發者也能將這套實時視頻通話能力接入自己的產品。
SeedRealtime 將攝像頭畫面、聲音和時間順序放進同一個端到端模型。AI 可以一邊觀察、一邊聽用戶說話,同時判斷該什麼時候開口,減少傳統語音識別、視覺理解、語音合成等多個模塊串聯帶來的延遲和信息損失。
官方演示中,用戶把整顆咖啡豆倒進咖啡機的萃取手柄,AI 不等提問就主動提醒先研磨。逛博物館時,用戶只需提前交代要找哪件文物,模型便能持續觀察鏡頭,在目標出現時主動提醒。它還能分辨多人對話,在嘈雜環境中避免被旁人的閒聊誤觸發。
字節跳動今年 8 月公布的人工評測顯示,相比多個模型串聯的方案,SeedRealtime 的音視頻對話節奏問題減少約一半,搶話、回應遲緩和背景噪聲誤觸發等現象明顯減少。