外观
JoyAI-Echo / Echo-WM
目前几乎唯一官方明确「视频+环境音+音乐+语音」同生的可进入世界模型。
结构化 stub:仓库内 data/models/joyai-echo.yml。
核验字段
| 字段 | 值 |
|---|---|
| 名称 | JoyAI-Echo / Echo-WM |
| 机构 | 京东探索研究院 / JD Future Academy(多校合作) |
| 公开时间 | arXiv 2026-08-24;Echo-WM 代码约 2026-08-26 |
| arXiv | 2608.23189 |
| 参数量 | 未公开(骨干公开为 LTX-2.3;文本编码器 Gemma-3-12B) |
| 基座 | LTX-2.3 |
| 分辨率 | 720p |
| 帧率 | 未公开/未核验明确实时 FPS |
| 延迟 | 未公开/未核验 |
| 控制 | 统一 camera intent:Action DSL(w/a/s/d/i/j/l)+ 连续 6-DoF;第一/第三人称 |
| 模态 | 视频 + 环境音 + 音乐 + 语音(全模态) |
| 时长口径 | Base ~10 s;Flash Preview 为 4-step 因果自回归预览;父 README 称 interactive worlds stable 60-second rollouts;Echo-LongVideo 另有 10+ minutes(非同一 checkpoint) |
| 开源 | 是 |
| 许可 | LTX-2 Community License(学术/非商用;商用需联系 Lightricks) |
| GPU hours | 未公开 |
| 训练硬件 | 未公开 |
| WBench | 团队自述:WBench Navigation Avg 81.7 第 1;Flash 81.0(项目页表) |
| 其他评测 | 未在本库独立复现 |
| 核验日 | 2026-09-16 |
训练阶段
Base 与 Flash Preview(4-step 因果)路径公开度有限;训练 hours 未公开。
选型要点
偏全模态媒体入口。代价是 LTX 社区许可 + Base 约 10s。Navi 81.7 为团队自述。
诚实边界
参数量与官方单卡实时 FPS 未公开。LongVideo「10+ minutes」与 Echo-WM Base/Flash 不是同一 checkpoint。许可偏社区非商用。
来源
另见 Wan5B 后训对照、WM 全景、控制接口差异。