据動察 Beating 監測,OpenAI 正準備優化 ChatGPT 和 Codex 的超長對話體驗,下週上線。內部測試一段 741 輪、231MB 的巨型聊天後,平均打開時間從 27.62 秒降到 1.66 秒,加載速度提升約 94%。
這次優化主要針對聊天記錄加載,不是模型回答速度提升。測試中,需要加載的對話條目從 15,529 個降到 64 個,請求次數從 894 次降到 16 次,整個 App 的內存增長也減少 41.2%。
對於長期使用 ChatGPT 或 Codex 的用戶,這能明顯減少打開舊對話時的等待時間。過去一個超長線程越聊越卡,主要原因就是客戶端需要處理大量歷史消息;這次 OpenAI 直接減少了需要加載的數據量。