Skip to content

记忆 × 训练阶段分析

交互图与 PNG:地图页。本文只解释「为什么那一格是绿/黄/红」,不打分

三列分别在考什么

模型在干什么记忆模块最容易翻车的原因
① 双向适配 / Base全时序看得见未来,先把控制加上接口没接对、标注(depth/pose)没有,而不是 KV 训不动
② 转 Causal(TF / ODE / PFM)历史必须「只来自过去」曝光偏差:检索/ patch 若偷看未来或用上未来 GT,一上线就崩
③ 少步 Distill(DMD / Self-Rollout)学生自己造历史再对齐脏 memory 进入 scorer;长程漂被少步放大器放大

「回看不忘」是产品列,不是训练列:A 窗外即忘;C/F 空间强;E 只打时间轴。

分行读

A. KV + Sink(Astronex / Zing / ABot 局部 KV)
双向几乎零额外接口。转因果是成熟课表。少步之后窗更短,失败表现为漂色/忘开场,不是「记忆层训不动」。不要指望它做大视角回访。

B. 整帧几何检索(DreamX / MG 3.0 / Astronex frustum)
双向 + GT pose 很好做。转因果只能取可见历史,DreamX 用掺错 memory / residual recycling 抗曝光偏差。少步时学生自造整帧又贵又脏——Astronex 选择 仅 revisit 打开,是在红格上做场景门控,不是把检索做成默认前向。

C. Patch Memory(Matrix-Game 3.5)
Base 就要 depth/pose、静动态过滤、高比例 memory dropout。少步必须 curriculum:先 CFG+相机,再开 patch;student 在线更新、scorer 固定初始 memory。代价高,回访也最强(当前 Wan5B 视频线)。

D. 角色 Reference(MG 3.5 / ABot)
防的是抄近帧不抄 identity。要 mask 主体区,reference 只能来自因果历史。它不是场景地图。

E. LongForcing
通常不进双向 stage。短 TF/ODE 站稳后再上长 rollout。算力/显存贵,打时间累积误差。不能替代 C/F。

F. 显式 3D 资产(Atlas / HY-World 2.0 / 外置 bank)
另一条赛道。建场后漫游快,动态演化另说。不要把视频 DMD curriculum 硬套过来。

和公开课表的对齐(无新数字)

  • Astronex:A 为默认(window20+sink4),B 仅 revisit → 主动避开 B③ 红格。
  • Matrix 3.5:C 贯穿 Base→PFM→curriculum DMD,论文写明先关 memory 再打开,正好对应 C③「难但可解」。
  • ABot:D + E;WorldRoam / 24h demo 叙事偏时间轴与角色,不主打空间拼贴。
  • DreamX:B + 事件 + RL 后蒸馏;少步脏历史是已知黄/红区。
  • Zing:A + 在线文本;Navi 团队自述高,不表示回访强。

GPU hours 与「记忆模块多花了多少卡时」:未公开,本页不估算。

私有研究知识库 · 缺项写「未公开」· 禁止编造 GPU hours / 分数