Skip to content

Matrix-Game 3.5

同先验 5B 上的几何记忆 + 3-step 因果蒸馏;强调分钟级 720p 与相对 3.0 的长程/单卡吞吐。

结构化 stub:仓库内 data/models/matrix-game-3.5.yml

核验字段

字段
名称Matrix-Game 3.5
机构Riemann Dynamics(论文作者;3.0 为 Skywork AI;媒体常关联昆仑万维 Skywork)
公开时间3.5:媒体约 2026-07;arXiv 2026-08-30。3.0 更早(arXiv:2604.08995)
arXiv2608.29910
参数量5B(Wan2.2-TI2V-5B 上)
基座Wan2.2-TI2V-5B
分辨率720p(704×1280 / 1280×704)
帧率团队/媒体:单卡约 20 FPS@720p(INT8 DiT + MG-LightVAE 等)。3.0 官方页:最高 720p@40 FPS(8 GPU DiT + 1 GPU VAE)
延迟未公开/未核验(3.5)
控制相机轨迹(c2w extrinsics + intrinsics / PRoPE);第一人称 / 第三人称(0–4 主角参考图);文本
模态视频(Patch Memory / 几何记忆)
时长口径3.5:minute-long real-time interactive generation;3.0:stable memory consistency over minute-long sequences
开源
许可Apache-2.0(3.5 README / GitHub)
GPU hours未公开
训练硬件训练卡数/型号:未公开(BF16 + DeepSpeed ZeRO-2)。推理:单卡 H100 可达约 20 FPS@720p(团队口径)
WBench论文未报 WBench
其他评测SANA-WM one-minute bench(Simple/Hard):3.5 在单卡 720p 上综合强于 3.0(如 Hard overall 80.85 vs 3.0 的 78.79 等,论文表;团队自述)
核验日2026-09-19

训练阶段

Base:相机 + Patch Memory(无额外可学参)+ tiled PRoPE 联合训。Distill-1:Perceptual Flow Matching(InternVideo2 特征)+ teacher-forced。Distill-2:curriculum Self-Rollout DMD(先无 memory 再逐步打开)→ 3-step。

选型要点

要「几何回访 + 分钟级 720p + Apache」时看 3.5。3.0 是直接同先验前代,多卡 40 FPS 与单卡 20 FPS 不可混为一谈。

诚实边界

蒸馏步数公开(Perceptual causal 10,000 steps;Self-Rollout DMD 1,000 outer steps)但无卡数/步时,不可换算 GPU hours。3.0 约 4.8M clips 有论文数字;3.5 文中未重报具体 M clips。

来源

另见 Wan5B 后训对照WM 全景控制接口差异

私有研究知识库 · 缺项写「未公开」· 禁止编造 GPU hours / 分数