OpenAI最新模型 Astra 使用了 ByteNet 架构：Transformer 中的每一层都进行了多次计算。

動察 Beating AI 快訊，OpenAI 即將發布的 Astra 用上了一種循環推理架構 recurrent depth，也叫 looped transformer。普通 Transformer 每生成一個 Token，會固定穿過一層層網路；Astra 可以讓同一段信息反复經過同一組層，多算幾輪再輸出。

這條路線位元組去年已經公開做過。Seed 團隊發布的 Ouro 就是一種 Looped Language Model，同樣讓一組 Transformer 層循環運行，將更多計算放進模型內部。模型不用一直生成更長的思維鏈，也能增加推理計算量。較小模型因此能用更多計算，做到接近更大模型的效果。

這種架構也帶來一個安全問題。部分推理發生在內部隱藏狀態裡，人類看不到完整文字記錄，更難通過思維鏈檢查模型有沒有違規。OpenAI 因此限制了 Astra 使用 recurrent depth 的程度，讓它仍保留可讀的思維鏈，並準備加入額外的 CoT 監控。