文章作者、来源：极智GeeTech

"世界模型"大概是最近两年AI领域最热也最混乱的词汇之一。

黄仁勋在GTC上把"物理AI"和"世界模型"作为下一代AI的核心；自动驾驶公司认为世界模型是高阶智能驾驶的必经之路；机器人厂商宣称自己的世界模型能让机械臂拥有通用操作能力；甚至连做视频生成的团队，也把最新的模型改名叫世界模型，主打一个能生成视频就是能建模世界。

世界模型正在成为AI领域新的"万能标签"，就像前几年的元宇宙、去年的大模型，只要贴上这个标签，就能拿到通往资本与舆论中心的入场券。

这一现象背后，是全行业对大语言模型边际收益递减的集体焦虑：当互联网文本数据被挖掘殆尽，当生成式内容的新鲜感快速退去，AI亟需找到下一个万亿级的落地场景，就必须从比特世界走向原子世界，从处理信息走向操控实体。

也正是因为世界模型潜在的能力和用途巨大，其目前离真正的可用尚有不少距离和困境。它不是某一项技术的单点突破问题，而是概念、数据、架构三重维度的系统性迷局，每一层困境的背后，都藏着AI向物理世界跃迁时必须跨越的认知鸿沟。

概念先于共识：一场各怀心事的标签狂欢

世界模型面临的第一重困境，恰恰是它最热闹的地方——概念本身。

不少视频生成模型、3D重建工具、多模态大模型都在纷纷贴上这个标签，行业对世界模型的定义、技术路线、评测标准始终没有形成共识。同一个词，在不同公司嘴里，说着完全不同的技术。

这绝非偶然。概念混乱的本质，是不同赛道的玩家都在借世界模型的叙事，抢占下一代AI的技术话语权。

对内容生成公司来说，把视频生成包装成世界模型，是把AIGC的旧故事，换成了更有想象力的交互世界生成新叙事，估值空间直接上一个台阶。

机器人企业所说的世界模型，特指机械臂对操作对象物理属性、空间位置、交互反馈的建模能力，目的是在同质化的硬件红海里，竖起一道技术壁垒。

对自动驾驶公司而言，世界模型是对交通参与者运动轨迹、环境变化的实时预测，是从被动感知升级到主动预判的核心抓手，是高阶智驾故事的必备要素。

而对英伟达这类算力厂商来说，世界模型是基于类似Omniverse的仿真底座、打通"感知-仿真-规划"全链路的基础模型，面向全行业输出通用建模能力。

不同的商业诉求，让同一个词汇承载了完全不同的技术内涵。

为了厘清这个概念，李飞飞在今年6月发表的长文中试图为这个混乱的局面建立一个分析框架。她把市面上的世界模型分为三类：

渲染器只管"看起来像"，生成漂亮的像素和视频，但不保证物理和几何的正确性，典型代表是谷歌Genie、OpenAI Sora，核心指标是视觉真实度与时空连贯性。

模拟器追求结构上的精确，输出的不是画面，而是几何数据、材质参数、碰撞网格这类信息，比如NVIDIA Omniverse物理仿真模块、Unity PhysX AI，是数字孪生、工业仿真的核心底座。

规划器则负责在感知和行动之间搭桥，让智能体在行动前能预判世界的变化，比如自动驾驶中的轨迹预测网络、机器人运动规划模型，直接服务于智能体决策。

但这个分类本身也说明了问题，当一个技术概念需要用长篇大论来定义边界时，就意味着它还远没走到技术收敛的阶段。

深度学习在2012年之前，也经历过多路线混战的阶段，但当年的路线之争最终靠数据和算力分出了胜负。而世界模型至今还没有统一的基准：视频生成类用FVD（弗雷歇视频距离）、CLIP得分衡量效果；机器人类用抓取成功率、任务完成度验证能力；自动驾驶类用轨迹预测误差、接管率评估价值。没有统一的标尺，就没有技术迭代的坐标。这场概念混战，大概率还要持续很长时间。

比特世界的玩法，在原子世界行不通

训练大语言模型，数据几乎是取之不尽的：互联网上的网页、书籍、论文、帖子，爬下来就能用，标注成本极低。但训练一个能理解物理世界的模型，需要的完全是另一套数据，带精确几何标注、物理参数、动作标签的多模态交互数据。

差距的根源，在于信息的维度完全不同。文本是离散、标准化、单模态的符号，一个词的含义相对固定，标注起来很简单。但物理世界是连续的、高维的、多因果耦合的。就拿"拿起纸杯"这个最简单的动作来说，背后关联着视觉纹理、空间深度、手指受力、纸杯形变、摩擦系数、运动加速度等数十种物理量，所有数据还必须在微秒级完成时间对齐，差一点就失去了训练价值。

更棘手的是，就算花大价钱采到了数据，也未必是对的数据。

真实物理数据的采集成本高得惊人。以自动驾驶为例，每台测试车的激光雷达、摄像头、IMU等硬件成本超百万元，每采集1小时真实路测数据，叠加标注、车辆运维成本，综合成本可达数千元；要覆盖雨雪、夜间、施工、异形障碍物等长尾场景，需要百万公里级路测数据，整体成本是天文数字。机器人领域更甚，Figure AI曾披露，人形机器人每小时真实操作数据的采集成本，是大语言模型文本数据的数千倍，还要额外承担硬件损耗、安全事故的风险。

目前世界模型的落地场景，基本局限在自动驾驶、电子游戏这类特定领域，数据规模和多样性都撑不起一个通用模型。而真实物理世界的场景是无限的：不同光照下的物体、不同磨损程度的摩擦力、不同角度的碰撞效果……这些长尾场景恰恰是考验模型泛化能力的关键，却永远不可能靠采集全部覆盖。

合成数据一度被当成破局的解药。用物理仿真引擎、游戏引擎批量生成虚拟数据，成本比真实采集低得多。但这条路的坑，比很多人预想的都深。

目前行业已经形成三类主流方案：

一是基于MuJoCo、Bullet、PhysX等经典物理引擎生成标准化动力学数据，比如DeepMind DM Control Suite、OpenAI Gym。

二是域随机化技术，通过随机改变仿真环境的光照、纹理、物理参数提升模型泛化能力，最经典的案例是OpenAI Dactyl机械手，在仿真中通过随机化摩擦系数、灯光等参数训练，最终在现实中完成旋转魔方的任务。

三是生成式AI补全，用扩散模型生成逼真纹理，缩小视觉层面的虚实差距，比如英伟达Drive Sim就用该技术丰富仿真场景细节。

但这条路的坑，比很多人预想的都深。

很多人认为，仿真到现实的鸿沟是画面不够真实，其实根本不是。真正的鸿沟是物理分布的偏移：仿真引擎里的摩擦系数、弹性模量、空气阻力，都是人为设定的理想值，但真实世界里的物理参数是连续变化、互相影响的，比如一块橡胶在不同温度、不同磨损下的摩擦力都不一样，这些细微差异，仿真根本没法100%复现。

行业内曾有公开测试，在仿真环境中抓取成功率达到98%的机器人模型，迁移到真实环境后，成功率往往直接跌到60%以下，即便加入域随机化优化，也很难突破85%的瓶颈，剩下的差距必须靠真实数据微调填补。

现在行业里流行的真实数据闭环、"合成预训练+真实微调"的混合方案，都只是缓解矛盾，依然无法从根本上解决问题。

比特世界的增长规律是边际成本趋近于零，而原子世界的成本规律是每往前一步都要砸真金白银。这种底层逻辑的冲突，就是世界模型绕不开的天堑。

三条路线，三种认识世界的哲学

就算有了统一的定义、足够的数据，还有一个更深层的问题摆在眼前：我们到底该用什么架构，去构建一个世界模型？

这个问题的本质，是AI到底该在哪个层级"表征世界"——是像素、几何结构，还是抽象状态？不同的答案，指向了完全不同的技术路径，背后更是截然不同的底层哲学。

像素交互路线

第一条路，是以谷歌Genie3为代表的像素交互路线，底层逻辑是"视觉即存在"。

这类模型的底层架构大多基于时空扩散模型，在传统图像扩散的基础上加入时间维度注意力机制，让模型学习视频帧之间的运动连续性。以Genie 3为例，它支持文本、图像、动作指令等多条件输入，生成1080P分辨率的交互式视频，用户可以通过键盘、鼠标控制画面中的角色移动、交互，模型能实时生成符合逻辑的后续画面，沉浸感极强。

这条路的优势是"变现快"，游戏、内容生成、数字人场景直接就能用，且训练数据门槛低，互联网上海量视频都可以作为训练素材，模型迭代速度快。

但劣势也很致命，像素级的拟合不代表物理级的正确。它能生成杯子摔碎的画面，但不知道碎片为什么往那个方向飞，更不知道不同地面会有什么不同的弹跳效果。业内测试显示，Sora生成的视频中经常出现物体穿模、动量不守恒、光影矛盾等物理错误。用它指导机器人干活，就像让只看过电影的人去开机床，看着像那么回事，实则随时要出事。

空间结构路线

第二条路，是以李飞飞World Labs的Marble模型为代表的空间结构路线，底层假设是"结构先于物理"。

这条路线的核心是从视觉输入中重建精确的3D空间结构，用几何表征代替像素表征Marble模型可以通过多视角图像输入，生成带语义标签的可导出3D网格环境，支持智能体在其中导航、交互规划，输出的3D资产可直接导入游戏引擎使用。

在自动驾驶领域，这条路线已经实现了规模化量产落地。占用网络（Occupancy Network）已成为高阶智驾的标配技术，它不依赖高精地图，通过车载多摄像头视觉输入，实时构建周围环境的3D体素空间，判断哪些区域被障碍物占据、哪些是可行驶空间。特斯拉、小鹏、理想的最新智驾系统，都已搭载基于占用网络的空间世界模型，能有效识别异形障碍物、施工路障等传统感知方案易漏检的目标。

但它的问题也很明显，3D结构只是物理世界的静态骨架，世界模型的核心价值是预测动态变化。虽然空间路线能告诉你斜坡的角度，但没法直接算出球体滚动的加速度；能还原物体的形状，却很难模拟软体、流体的形变。从静态结构到动态物理，中间还有很长的工程化道路要走。

认知表征路线

第三条路，是以杨立昆JEPA架构为代表的认知表征路线，底层逻辑是"抽象即认知"。

它不生成像素，只预测抽象的世界状态，理论上最接近人类大脑的"心智模型"。我们走路不会在脑子里渲染画面，只会预判脚下的路况；扔东西不会计算每个像素的运动，只会判断力度和落点。

技术实现上，JEPA通过编码器将输入图像映射到高维潜空间，再用预测器根据历史状态预测未来的潜空间表示，全程不生成像素，大幅降低了计算量，也让模型更聚焦于语义级的因果规律。

基于同类思路的DreamerV3算法，已是当前机器人强化学习的主流方案之一：它在潜空间中构建世界模型，预测不同动作下的环境反馈，再基于内部模型做决策规划，无需每次都与真实环境交互，大幅提升了样本效率。

这条路最接近通用智能的本质，但也最"远"。潜空间的表征是黑箱，你不知道模型到底理解了什么，出错了也很难定位原因。更关键的是，抽象状态怎么转化成精确的电机控制指令，怎么对接底层运动规划系统，至今都没有成熟的通用方案，大多只能在特定任务中做端到端训练，泛化能力受限。

三条路线各有其理论根基，也各有其无法绕过的短板。行业里越来越多人认为，最终的通用世界模型大概率是三者融合的产物：用3D结构搭骨架，用物理引擎加约束，用抽象表征做决策。目前英伟达的世界基础模型、特斯拉FSD端到端系统，都已经在尝试多路线融合。但像素、几何、潜空间是三套完全不同的表征体系，要让它们精准对齐、高效联动，本身就是一个世界级难题。

垂直场景先起跑，通用还在山脚下

世界模型离世界有多远？这个问题没有一个简单的答案。

至少未来三到五年，都会是世界模型持续演进迭代的阶段。当下的世界模型就好似2012年前后的深度学习，彼时，数据孤岛严重、路线未定、基准还在打架，ChatGPT时刻尚未到来。

但世界模型面临的挑战，可能比当年的深度学习更大。深度学习处理的是模式识别，从数据中找出统计规律。它的胜利是算力、数据与架构的共振，本质上是统计拟合的胜利。而世界模型要处理的是因果推理，理解为什么物体会这样运动、为什么事件会这样发生。

这两种能力之间，隔着的不是几年的技术迭代，而是根本性的认知范式转换。统计拟合可以靠堆算力堆数据实现突破，但因果推理需要对世界运行规律的底层抽象，这更接近人类智能的核心，也因此更难实现。

当然，不必因为通用世界模型遥远就否定其价值。在走向通用的过程中，垂直场景的落地会率先到来。自动驾驶领域，世界模型会先在高速、城区等特定场景实现对交通参与者行为的精准预判，提升系统的安全性与舒适性；工业机器人领域，特定工位的世界模型会让机器人更快适配新任务，降低产线的调试成本；游戏与数字孪生领域，交互式世界生成会先实现商业化，为后续技术迭代提供资金反馈。这些垂直场景的数据可控、需求明确，会成为世界模型技术迭代的"练兵场"。

而从长远的视角看，我们不必执着于世界模型这个标签，也不必执着于某一条特定的技术路线。真正重要的是，我们能否让AI从"看见世界"走向"理解世界"，从像素级的模拟走向因果级的推理。

这一步一旦跨越，AI就不再是数字世界的内容工具，而会成为物理世界的通用决策者，届时它不会只是单个产品的革新，而是整个工业体系、交通体系、生产方式的底层重构。从这个意义上说，今天所有的概念混战、数据困境、架构分歧，都是黎明前的必经之路，所有的迷雾，最终都会被技术前进的脚步慢慢吹散。