2026年5月20日的Google I/O大会上,谷歌发布了Gemini Omni,将其定义为“世界模型”向前迈出的关键一步——AI正从预测文本转向模拟现实。Omni构建在全模态架构基础之上,融合了谷歌三大核心技术底座:Gemini基座模型的理解能力、Nano Banana的图像生成能力、Veo的视频生成能力。
对物理定律的直观理解是本质性突破。 传统视频生成模型本质上是对像素分布的高度拟合,缺乏对物理世界运行规律的深层建模。当用户输入“一个球从坡道上滚下”的提示时,传统模型可能输出视觉上合理的画面,但无法保证球的运动轨迹符合牛顿力学。Omni的突破在于其训练目标从“像素拟合”转向了“物理规律学习”——模型能够自主理解并模拟动能、重力、接触力学等物理属性,不仅能生成具有准确物理特性的视频,还支持用户通过对话直接对视频元素进行二次编辑。例如,给Omni提示词“蛋白质折叠的解说”,模型直接生成了讲解蛋白质如何从氨基酸链折叠成α螺旋、最终形成三维结构的视频,这一视频不是从素材库中拼接的,而是基于模型训练中积累的生化知识直接生成的。
全模态统一表征的底层重构。 Omni在基础模型层面实现了图像、音频、视频、文本等异构数据的底层融合训练,训练目标也区别于传统的LLM自回归预测。在模型评估阶段,团队需要同时运行视频生成、视频编辑、图像生成、文本对齐、音频同步五条独立的评估管线,体现了模型在物理认知与多模态生成上的全域覆盖能力。
前往 DeepSeek 体验
消息来源:DeepSeek 官方公告 · 本站快讯组整理