京东开源JoyAI-Echo WM登顶WBench,世界模型迈入“可进入”的全模态新阶段

财闻 2026-09-09 12:26:52

它既能根据用户的移动和视角变化持续生成世界,也能同步生成720P视频、环境音、音乐和语音,并支持第一人称、第三人称及多轮连续交互,让AI生成的内容从“可以看”。

近日,京东开源实时可交互世界模型JoyAI-Echo WM,首次将这两种相对独立的能力在一套模型中打通:它既能根据用户的移动和视角变化持续生成世界,也能同步生成720P视频、环境音、音乐和语音,并支持第一人称、第三人称及多轮连续交互,让AI生成的内容从“可以看”,进一步走向“可以进入、可以操作、可以听见”的全模态新阶段。

在面向交互式世界模型的公开评测 WBench Navigation 中,测试涵盖画面质量、场景遵循、交互控制、一致性和物理合理性等多个维度。 JoyAI-Echo WM以81.6分排名第一,其中一致性达到89.8;经过四步因果蒸馏的快速版本 JoyAI-Echo WM Flash,综合得分仍以81.0分排名第二,交互能力更进一步达到87.9。两个版本包揽榜单前两名,EchoWM 已达到当前评测SOTA水平。

在另一项SANA-WM-Bench中, JoyAI-Echo WM在短程简单轨迹和困难轨迹测试中的VBench得分分别达到83.91和83.96,均为参评模型最高。这意味着,模型不仅能“听懂往哪走”,也能在连续移动和转向过程中,保持出色的视角控制和画面稳定性。

依托实时可交互的音视频世界生成能力,JoyAI-Echo WM可应用于游戏、数字人直播、具身智能训练等场景:让游戏世界随玩家操作持续变化,让互动剧情拥有更强的参与感,让数字人在直播中能够保持角色、动作与声音连贯,也为未来具身智能体在虚拟环境中的探索、交互与训练提供新的技术基础。

JoyAI-Echo WM的推出是JoyAI-Echo能力的延伸。今年6月,京东开源JoyAI-Echo长音视频生成框架,重点解决长视频中人物容易“变脸”、声音难保持一致、生成效率低等问题,让AI能够持续生成分钟级音视频内容。

此次升级至JoyAI-Echo 1.5版本,京东同步开源其中的Echo WM与长视频版本Echo-LongVideo。Echo-LongVideo支持约10分钟多镜头音视频生成,即使经过频繁转场、场景变化和新角色加入,仍能保持人物外观、声音与故事线索连贯;同步开放的Echo Director Agent还可完成故事展开、分镜规划、生成审核和成片组装。

JDD期间,京东JoyAI基础模型矩阵全面升级。目前,京东已形成覆盖语音、图像、视频、实时交互、世界建模与具身智能等方向的基础模型能力,推动AI 从数字世界迈向物理世界,全面赋能零售、物流、工业、健康等核心业务,助力京东建设全球最 大物理世界运营中心。

实时资讯
更多
16:53
超28万亿元!财政金融协同促内需效果逐步显现
16:00
苹果折叠iPhone Duo首日曝内屏开裂
15:32
金价创三月新低,央行加速购金提供中期支撑
15:30
河南拟出台医保支持基层医疗新政,24项举措倾斜基层
15:26
亚足联主席表态支持因凡蒂诺连任
15:26
首批主动ETF首日“吸金”155亿元,外资持续加码中国市场
15:22
特朗普称习惯成被告,民调支持率创任内新低
15:22
周鸿祎拟转让奇飞翔艺12.9%股权,底价2.19亿元
15:16
东方钽业前三季度营收增60.29%,单季盈利创历史新高
15:02
第九届油商大会发布大宗商品保险多项成果
15:02
保险中介机构加速退场,AI重塑行业展业方式
14:59
前三季度五大策略私募证券产品均正收益
14:58
证监会发布《母基金规定》征求意见稿
14:58
科技赛道调整致私募深陷回撤,机构热议主线逻辑
14:54
渝开发公布2026年三季报:营收大增归母净利亏损
14:50
浙江印发指导意见规范民宿范围与条件
14:43
阿里资产Q3住宅成交破4万套,同比增12.01%
14:38
三峡钱塘50兆瓦分散式风电项目转入主体施工
14:38
首批主动ETF启动募集 多家产品规模超10亿元
14:38
基金最新调研公司名单曝光,共13家公司被调研
16:53
超28万亿元!财政金融协同促内需效果逐步显现
16:00
苹果折叠iPhone Duo首日曝内屏开裂
15:32
金价创三月新低,央行加速购金提供中期支撑
15:30
河南拟出台医保支持基层医疗新政,24项举措倾斜基层
15:26
亚足联主席表态支持因凡蒂诺连任
15:26
首批主动ETF首日“吸金”155亿元,外资持续加码中国市场
15:22
特朗普称习惯成被告,民调支持率创任内新低
15:22
周鸿祎拟转让奇飞翔艺12.9%股权,底价2.19亿元
15:16
东方钽业前三季度营收增60.29%,单季盈利创历史新高
15:02
第九届油商大会发布大宗商品保险多项成果
15:02
保险中介机构加速退场,AI重塑行业展业方式
14:59
前三季度五大策略私募证券产品均正收益
14:58
证监会发布《母基金规定》征求意见稿
14:58
科技赛道调整致私募深陷回撤,机构热议主线逻辑
14:54
渝开发公布2026年三季报:营收大增归母净利亏损
14:50
浙江印发指导意见规范民宿范围与条件
14:43
阿里资产Q3住宅成交破4万套,同比增12.01%
14:38
三峡钱塘50兆瓦分散式风电项目转入主体施工
14:38
首批主动ETF启动募集 多家产品规模超10亿元
14:38
基金最新调研公司名单曝光,共13家公司被调研
热门文章
日排行 周排行
长城证券首席:支撑力量持续增强,中长期投资价值显现
财闻 10-23
1
iPhone Duo发售倒计时:广告已上墙,演示样机疑似提前流出
财闻 10-23
2
财闻早知道丨纳指重挫2.6%创6月来最大单日跌幅 沙特阿美油田遇袭布油涨破113美元
财闻 10-23
3
独家|盘石集团实控人田宁失联
财闻 10-21
4
纳指遭“黑色星期四”,白毛股神自曝10月账户浮亏超1300万美元
财闻 10-23
5
杨德龙:上证指数跌破3600点 及时出台强有力稳市场措施至关重要
财闻 10-23
6
“易中天”再度大跌,新易盛拟大额回购
财闻 10-23
7
传松延动力已秘密递表港交所,最快2027年挂牌上市
财闻 10-23
8
起点读书率先完成iPhone Duo适配
财闻 10-23
9
国办:强化人工智能的就业创造效应,减缓人工智能应用就业替代影响
财闻 10-23
10