外观
记忆 × 训练阶段分析
交互图与 PNG:地图页。本文只解释「为什么那一格是绿/黄/红」,不打分。
三列分别在考什么
| 列 | 模型在干什么 | 记忆模块最容易翻车的原因 |
|---|---|---|
| ① 双向适配 / Base | 全时序看得见未来,先把控制加上 | 接口没接对、标注(depth/pose)没有,而不是 KV 训不动 |
| ② 转 Causal(TF / ODE / PFM) | 历史必须「只来自过去」 | 曝光偏差:检索/ patch 若偷看未来或用上未来 GT,一上线就崩 |
| ③ 少步 Distill(DMD / Self-Rollout) | 学生自己造历史再对齐 | 脏 memory 进入 scorer;长程漂被少步放大器放大 |
「回看不忘」是产品列,不是训练列:A 窗外即忘;C/F 空间强;E 只打时间轴。
分行读
A. KV + Sink(Astronex / Zing / ABot 局部 KV)
双向几乎零额外接口。转因果是成熟课表。少步之后窗更短,失败表现为漂色/忘开场,不是「记忆层训不动」。不要指望它做大视角回访。
B. 整帧几何检索(DreamX / MG 3.0 / Astronex frustum)
双向 + GT pose 很好做。转因果只能取可见历史,DreamX 用掺错 memory / residual recycling 抗曝光偏差。少步时学生自造整帧又贵又脏——Astronex 选择 仅 revisit 打开,是在红格上做场景门控,不是把检索做成默认前向。
C. Patch Memory(Matrix-Game 3.5)
Base 就要 depth/pose、静动态过滤、高比例 memory dropout。少步必须 curriculum:先 CFG+相机,再开 patch;student 在线更新、scorer 固定初始 memory。代价高,回访也最强(当前 Wan5B 视频线)。
D. 角色 Reference(MG 3.5 / ABot)
防的是抄近帧不抄 identity。要 mask 主体区,reference 只能来自因果历史。它不是场景地图。
E. LongForcing
通常不进双向 stage。短 TF/ODE 站稳后再上长 rollout。算力/显存贵,打时间累积误差。不能替代 C/F。
F. 显式 3D 资产(Atlas / HY-World 2.0 / 外置 bank)
另一条赛道。建场后漫游快,动态演化另说。不要把视频 DMD curriculum 硬套过来。
和公开课表的对齐(无新数字)
- Astronex:A 为默认(window20+sink4),B 仅 revisit → 主动避开 B③ 红格。
- Matrix 3.5:C 贯穿 Base→PFM→curriculum DMD,论文写明先关 memory 再打开,正好对应 C③「难但可解」。
- ABot:D + E;WorldRoam / 24h demo 叙事偏时间轴与角色,不主打空间拼贴。
- DreamX:B + 事件 + RL 后蒸馏;少步脏历史是已知黄/红区。
- Zing:A + 在线文本;Navi 团队自述高,不表示回访强。
GPU hours 与「记忆模块多花了多少卡时」:未公开,本页不估算。