外观
训练阶段
2026 年开源交互视频 WM 的公开课表高度同构:
双向 teacher(全时序注意力,控得住)
→ 因果转换(teacher forcing / block-causal)
→ 少步对齐(ODE / CF++ / Perceptual FM / AnyFlow)
→ 分布匹配(DMD / Self-Rollout / LongForcing / DFD)
→ (可选)RL 后蒸馏、量化、记忆 curriculum同构不等于同预算。下表只列原文写过的阶段关键词,不补 GPU hours。
同先验 5B 路线
| 模型 | 公开阶段关键词 | 已知硬件线索 | GPU hours |
|---|---|---|---|
| Astronex 1.0 | I 双向 PRoPE+64D → II TF → III UniPC 25→12 → IV mixed SFT + rolling forcing → V asymmetric DMD | 全程 2×L20 48GB | 未公开 |
| Zing-0.5 | 双向适配 → 双分支 teacher/student → ODE+local consistency → DMD+DFD | 训练卡未公开 | 未公开 |
| ABot-World-0 | 双向 teacher → TF → ODE → LongForcing | 训练卡未公开 | 未公开 |
| Matrix-Game 3.5 | Base(相机+Patch Memory)→ PFM 10k steps → Self-Rollout DMD 1k outer | 卡数未公开 | 未公开 |
| Yume-1.5 | Foundation 10k iters → SF+TSCM 600 iters | A100,卡数未公开 | 未公开 |
| DreamX 1.0 | E-PRoPE → Memory → Event IFT → AR+DMD → DiffusionNFT | 训练卡未公开 | 未公开 |
| SolarWM 5B | 双向 PRoPE → TF-AnyFlow → DMD/SGF | 训练卡未公开 | 未公开 |
有步数、无墙钟、无卡数,一律不换算 hours。
差异段(复现时该抄哪一段)
| 失败模式 | 更匹配的公开段 |
|---|---|
| 长 rollout 色漂 / 结构坍 | ABot LongForcing;Matrix Self-Rollout DMD |
| 回访对不上 | Matrix Patch Memory curriculum(先关 memory 再打开) |
| 想少一个中间蒸馏 | Solar AnyFlow(声称省 ODE/CD) |
| 相机跟随在蒸馏后变差 | DreamX RL / DiffusionNFT |
| 上下文太长、要 4-step | Yume TSCM;Zing DFD |
| 低卡把控制先加进去 | Astronex Stage I(2×L20 故事) |
完整 stage 简表见 Wan5B 对照 §2。