Skip to content

JoyAI-Echo / Echo-WM

目前几乎唯一官方明确「视频+环境音+音乐+语音」同生的可进入世界模型。

结构化 stub:仓库内 data/models/joyai-echo.yml

核验字段

字段
名称JoyAI-Echo / Echo-WM
机构京东探索研究院 / JD Future Academy(多校合作)
公开时间arXiv 2026-08-24;Echo-WM 代码约 2026-08-26
arXiv2608.23189
参数量未公开(骨干公开为 LTX-2.3;文本编码器 Gemma-3-12B)
基座LTX-2.3
分辨率720p
帧率未公开/未核验明确实时 FPS
延迟未公开/未核验
控制统一 camera intent:Action DSL(w/a/s/d/i/j/l)+ 连续 6-DoF;第一/第三人称
模态视频 + 环境音 + 音乐 + 语音(全模态)
时长口径Base ~10 s;Flash Preview 为 4-step 因果自回归预览;父 README 称 interactive worlds stable 60-second rollouts;Echo-LongVideo 另有 10+ minutes(非同一 checkpoint)
开源
许可LTX-2 Community License(学术/非商用;商用需联系 Lightricks)
GPU hours未公开
训练硬件未公开
WBench团队自述:WBench Navigation Avg 81.7 第 1;Flash 81.0(项目页表)
其他评测未在本库独立复现
核验日2026-09-16

训练阶段

Base 与 Flash Preview(4-step 因果)路径公开度有限;训练 hours 未公开。

选型要点

偏全模态媒体入口。代价是 LTX 社区许可 + Base 约 10s。Navi 81.7 为团队自述。

诚实边界

参数量与官方单卡实时 FPS 未公开。LongVideo「10+ minutes」与 Echo-WM Base/Flash 不是同一 checkpoint。许可偏社区非商用。

来源

另见 Wan5B 后训对照WM 全景控制接口差异

私有研究知识库 · 缺项写「未公开」· 禁止编造 GPU hours / 分数