Memory 类型 × 训练阶段 · 可行性矩阵

绿色=相对好做 · 黄色=能做但要课表/trick · 红色=转阶段后明显难训或易崩。评分是工程经验归纳,不是绝对评测。

好做 / 稳 可行,需课表 难训 / 易踩坑
Memory 类型 ① 双向适配 / Base ② 转 Causal(TF / ODE / PFM) ③ 少步 Distill(DMD / Self-Rollout) 回看不忘
A. 有界 KV + SinkAstronex / Zing / ABot local KV
原生注意力能力,几乎零额外接口;双向阶段无「记忆模块」可训。
block-causal + KV cache 成熟;sink/window 调参即可。
注意少步后更依赖短窗,长程靠先验糊弄;坑在漂色/忘开场,不在接口难训。
窗外即忘;不是空间回访。
B. 整帧几何检索Context-as-Memory / DreamX / MG 3.0 / Astronex frustum
GT pose+整帧条件好做;双向看得见整段,检索稳定。
课表只能取因果可见历史;曝光偏差出现。DreamX:掺错 memory / residual recycling。
学生自造历史脏;整帧贵且易打乱前向。Astronex:仅 revisit 开检索。
能回看,整帧不可拆、原视角限制。
C. Patch 几何拼贴Matrix-Game 3.5 Patch Memory
课表需 depth/pose 标注;静动态过滤;80% 开 memory dropout。双向仍相对可控。
课表先 PFM/TF,memory 用 GT 历史建;别一上来 online memory。
难但可解必须 curriculum:先 CFG+相机,再开 patch/context;student 在线更新 memory,scorer 固定初始 memory。
大视角回访;洞留给生成补。
D. 动态主体 ReferenceMG 3.5 / ABot 角色 memory
课表要防 context 泄漏(mask 主体区);否则抄近帧不抄 reference。
课表reference 只能来自因果历史;固定参考、勿偷看未来。
课表相对 patch 好蒸一点;身份漂仍会在长 rollout 放大。
身份防角色忘,不是场景地图。
E. LongForcing / 长 Self-RolloutABot(抑时间漂移)
通常不在双向 stage;双向当扩展视野 teacher。
之后短 TF/ODE 先站稳,再上长 rollout 对齐。
贵但有效算力/显存贵;打的是时间累积误差,不是空间回访。
时间轴减漂,不替代几何 memory。
F. 显式 3D 资产Atlas / HY-World 2.0 / VMem
另一赛道重建/生成分治或 omni;不是 Wan5B 视频 DiT 同一套 stage。
渲染环建场后漫游快;动态演化另说。
不适用少步视频 distill 逻辑不同;别硬套 DMD curriculum。
最强空间资产持久;动态弱项。

读矩阵的三条捷径