動察 Beating AI 快訊,AI 穿戴設備公司 Looki 發布多模態模型系列 Loom,可以將攝像頭和麥克風記錄的日常生活,整理成帶有時間、內容和原始證據的長期記憶,供 AI 隨時檢索。
比如,用戶中午和同事吃飯,期間討論了一個項目,最後決定等週五的數據出來再做決定。Loom 不僅要識別出「吃飯」「交談」,還要記下討論內容、決定及其原因。幾天後再次談起這個項目,AI 就能找回當時的記錄。
Loom 分為三個部分:
Sense(感知):持續判斷用戶正在做什麼。採用專門訓練的判別模型,直接給「是否正在用餐」「是否正在交談」等問題打分,無需每次生成文字描述。模型還會參考上一時段的狀態,避免轉身、遮擋造成活動識別反覆跳變。
Moment(經歷):將不同時間採集的畫面和聲音對齊,自動判斷一段經歷從哪裡開始、在哪裡結束,並生成包含關鍵事實、時間和對應證據的描述。它能根據談話內容劃分經歷,而不只是按固定時長切割視頻。
Memory(記憶):把經歷整理成日、週、月摘要及長期記憶。回答問題時,AI 可以先查摘要,再逐層找到具體經歷,必要時回看原始畫面或錄音,核實細節。
目前,Loom 仍由多個專用模型和記憶檢索系統配合工作,計劃未來進一步將這些能力整合進一個端到端的多模態模型。
官方自測中,Sense 識別近 20 類日常活動,F1 得分為 88.6,平均每次判斷耗時 0.51 秒。Moment 在判斷經歷起止時間方面超過 Gemini Flash,但生成的文字描述仍不如後者準確。Memory 得分為 79.0,比 mem0 高 18 分,每道題平均處理的 Token 量僅為後者的 14.5%。
Loom 將率先用於 Looki 自家的可穿戴設備,目前尚未開放獨立模型 API,模型權重也未開源。