腾讯混元世界模型1.5发布,首次开源业界最系统、最全面的实时世界模型框架

admin 百科 13

腾讯混元世界模型1.5(tencent hy worldplay)现已正式上线,官方公告内容如下:

它上手极简: 仅需一段文字描述或一张图片,即可快速生成个性化的可交互虚拟世界。 它支持沉浸式实时操控: 键盘、鼠标或游戏手柄均可作为输入设备,实时调整虚拟相机的位置与朝向,带来如游玩3A大作般的自由探索体验。 它开箱即用: 访问腾讯混元3D官网即可申请试用(https://www.php.cn/link/fc841e513da905da7664e80c91f54339)。 它全面开源: 混元世界模型1.5(WorldPlay)首次对外公开了业内最完整、最系统的实时世界模型技术栈,覆盖数据构建、模型训练、流式推理与部署等全生命周期环节,并创新性地引入“记忆重构机制”、“长上下文蒸馏策略”以及“面向3D空间的自回归扩散模型强化学习框架”等核心算法模块。

腾讯混元世界模型1.5发布,首次开源业界最系统、最全面的实时世界模型框架-第1张图片-佛山资讯网

混元世界模型1.5具备以下三大关键能力:

  1. 实时交互式生成能力:依托原创的Context Forcing蒸馏方法与流式推理加速技术,模型可在24 FPS下稳定输出720P高清视频流;
  2. 长时程3D几何一致性:通过重构记忆机制(Reconstituted Memory),实现长达数分钟的场景结构连贯生成,适用于高保真3D空间模拟任务;
  3. 多模态交互适配能力:兼容多种美术风格(写实/卡通/像素等)、各类现实或虚构场景,支持第一人称与第三人称视角切换,并可响应实时文本指令触发事件、完成视频续写等高级交互。

在技术实现层面,混元世界模型1.5首次开源了业界最完备的实时世界模型训练体系,贯穿数据采集、模型预训练、持续优化、推理部署全流程。技术报告中详细披露了预训练策略、增量训练范式、自回归视频模型的强化学习微调、带记忆能力的模型蒸馏等关键技术路径,并深入阐述了其在控制空间建模(control space)、记忆重构(reconstituted memory)、上下文强制蒸馏(context forcing)及强化学习后训练四大核心模块的设计理念与原创方案。

腾讯混元世界模型1.5发布,首次开源业界最系统、最全面的实时世界模型框架-第2张图片-佛山资讯网

混元世界模型1.5的核心架构为名为WorldPlay的自回归扩散模型,采用Next-Frames-Prediction视觉自回归任务进行端到端训练,成功实现了兼具实时响应与长程几何一致性的交互式世界建模,突破了行业长期面临的“实时性”与“空间一致性”难以兼得的技术瓶颈。

标签: git github 腾讯 red

发布评论 0条评论)

还木有评论哦,快来抢沙发吧~