header-langage
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
掃碼下載APP
Partnered With:

Writer發現AI長期記憶副作用:錯誤率提高2至4倍,模型更易盲從使用者偏見

据動察 Beating 監測,人工智能公司 Writer 發表兩篇論文指出,大模型雖然能抗住使用者的當場反駁,但如果把偏見伪装成使用者的「長期偏好」寫入記憶,模型就會大範圍妥協。原本用來改善體驗的記憶功能,反倒成了模型犯錯的溫床。

研究測試了 Mem0、MemOS 與 Zep 等外置記憶系統。在科學測試中,長期記憶會反覆調用存入的錯誤觀點,導致模型錯誤率較無記憶狀態暴增 2 至 4 倍,連能力較強的 GPT-5.2 也不例外。而在創意推薦任務中,只要記憶裡存過使用者偏好,模型在無關場景下也會頻繁重複相同推薦,干擾率高達 87% 以上,導致創意多樣性減半。

金融分析智能體 (Agent) 在測試中同樣大範圍犯錯:一旦被植入偏見偏好,部分模型推理準確率降幅超過 70%。而且當偏好資訊被記憶工具當成背景資料調用時,模型會給出錯誤答案卻完全不承認受到使用者影響,導致迎合偏差極難被檢測和攔截。

防范迎合偏差並不容易。常規的提示詞防線不僅效果有限,還會削弱模型的檢索能力。目前較有效的做法是在輸入端給數據源做可信度評分 (如官方文件標 0.95,使用者偏好標 0.05) 以引導模型忽略偏見。研究團隊強調,個性化智能體未來的核心挑戰,不再是記不住使用者,而是如何避免把使用者的偏見也一起記住。

举报 糾錯/舉報
相關推薦
DuDuLab還將於2023年2月嘗試NFT AI化的全新運營模式,會誕生第二批AIGC DuDu NFT
糾錯/舉報
提交
新增文庫
僅自己可見
公開
保存
選擇文庫
新增文庫
取消
完成