400 tokens/s意味着在AI编程场景中,模型可以一边理解工程上下文,一边持续生成代码与修改方案。在需要数十轮调用的重构项目中,彻底消除了累计数分钟的空等。在3D地图实测中,玩家移动角色并输入文字,模型能瞬时完成建模并实时改变场景。目前该服务已通过智谱MaaS平台向部分企业客户开放,未来计划持续扩大服务能力。
核心突破来自TileRT推理引擎。传统主流框架以算子作为基本调度单元,在单token、小batch场景下会被调度、访存与同步开销严重拖累。TileRT彻底抛弃了Runtime层的动态调度,在编译期(AOT)将整个计算图静态编排为一个常驻GPU的persistent Engine Kernel。在单卡内,计算、异步IO与通信被拆解为Tile级微任务,整个推理只Launch一次Kernel,中间结果通过寄存器、Shared Memory和L2 Cache直传,不再写回全局内存——从根本上消除了Kernel Launch的开销和全局内存读写的延迟。
它首次打破了行业长期的隐形天花板——“高性能模型必然高延迟,高速模型只能是轻量级模型”。顺便提一句,你用来跑推理的服务器,如果还在用动态调度的老框架,效率可能已经被甩开了一个代际。
前往 DeepSeek 体验
消息来源:DeepSeek 官方公告 · 本站快讯组整理