使用一张消费层面的显卡, 就可以支撑起480p分辨率以及60帧每秒的实时视频游戏体验, 从玩家按键到画面产生反应的时间延迟部分还不足150毫秒。
到了10月15日这一天, 昆仑万维这个公司宣布让Matrix-Game 4.0正式进入开源阶段, 它成为了眼下第一款能够在单张RTX 5090这张显卡上跑起来的视频大模型游戏。
01游戏引擎与视频模型的分工范式
Matrix-Game 4.0的核心架构, 它将游戏世界拆成了两层。底层是由游戏引擎来负责维护状态变量与交互规则的。上层则是由视频生成模型来进行实时的精细画面渲染工作。这样的分工模式存在的话, 模型就不需要从头去推理整个物理世界了, 所以算力需求是大幅下降了的。
据昆仑万维这边做介绍, 在这个模式下, 引擎负责去处理像碰撞、还有重力、以及角色位移这些确定的逻辑内容。与此同时, 视频模型仅仅是根据状态来输出像素级别的画面。这两者是通过结构化的中间表示来进行衔接的。这样做就避免了在传统端到端生成过程中经常会出现的画面漂移情况和逻辑断裂现象。
02单卡部署与实时性能指标
将整套模型全部部署在只有一张NVIDIA RTX 5090显卡的机器上面, 把显示分辨率直接锁定在480p这个档次, 让画面的帧率稳定保持在60 FPS这样的高标准上。
当玩家手指按下那个控制按键开始, 一直到屏幕上真正出现肉眼可见的画面变化为止计算时间, 确保这一段从输入到输出的端到端总延迟牢牢控制在150毫秒以内的区间之中, 这一响应速度已经非常接近目前主流本地游戏所具备的反应水平了。
当前的消费级市场上, RTX 5090是旗舰产品, 它配备了32GB GDDR7显存以及Blackwell架构核心。此前, 视频生成模型大多要依靠A100、H100这些数据中心GPU来运行, 而这次把门槛降到了只要有一台主机就能运行的程度, 这对独立开发者来说意义非常重大。
03代码生成到画面渲染的完整闭环
Matrix-Game 4.0这个版本, 现在能够把那个从代码去生成游戏逻辑, 然后让结构画面去提供空间约束, 再到视频模型那边去做实时渲染的这三个步骤, 给完整地连起来了。
就是开发者先用代码这个东西，先去定义关卡以及规则是怎样的, 接着系统那边就会自己去生成一个结构化的中间状态下的画面, 这个画面是当作锚点来用的, 最后再由视频模型负责把这些纹理和光影都给填充进去。
这条链路是啥意思呢? 它就是说游戏原型不再需要美术团队去逐帧地画了。只要用文本或者代码来描述一下, 就能直接驱动出可交互的画面。对于那些中小团队还有独立创作者来说的话, 从有创意那个阶段到做出一个能玩的演示版本的时间周期, 是很有希望从一个多月的时间压缩到只有几个小时之内的。
04开源社区与后续迭代方向
项目的源码已经同步开放了, GitHub的仓库地址位于SkyworkAI/Matrix-Game, 模型权重发布于Huggingface的Skywork/Matrix-Game-4.0页面。团队表示将面向社区接收反馈并持续迭代模型能力。
昆仑万维公布了的后续的发展路线是, 他们要部署这个叫refiner的模块, 用来把分辨率给提高上去, 同时还要去探索跨玩家视角的一致性这个问题, 为的就是支持多人一起玩联网的模式, 另外还会提供一个像素级别的话画面控制的接口出来, 并且在之后的时间里慢慢的把这个东西拓展到更多的不同类型的游戏产品上以及更多的应用场景里面去。
05行业关注与竞争格局
自Sora等文生视频模型亮相之后, “用视频模型替代引擎渲染”这一构想, 被很多人多次提出, 可是, 实时性与交互性, 始终是一个落地的瓶颈问题, Matrix-Game 4.0, 是把这一个设想, 推到了可交互式、可开源的阶段, 因此, 受到了游戏社区与
现在的状况是, 它目前支持的游戏类型这回事儿, 依然是以第一人称探索类这一种为主, 至于那些复杂的对战以及大规模的场景什么的, 到现在都还没有被覆盖到, 而业界呢, 大家都在期待着在后续的版本里面, 到底能不能够做到在分辨率、多角色交互还有物理仿真精度这三个方面去取得更进一步的那些突破。
关于单卡跑通视频游戏之后, 独立开发者究竟会最先拿它来做什么, 这个问题值得探讨, 欢迎你在评论区发表看法, 如果你觉得这篇文章有用, 别忘了点赞并分享本文。
