本站已收录 510+ 篇 AI 实战秘籍 · 人工审核筛选 450+ 个 AI 网站 · 每周一、四更新 查看最新

GLM-5.1高速版:400 token/s,把推理引擎重写了一遍

400 tokens/s意味着在AI编程场景中,模型可以一边理解工程上下文,一边持续生成代码与修改方案。在需要数十轮调用的重构项目中,彻底消除了累计数分钟的空等。在3D地图实测中,玩家移动角色并输入文字,模型能瞬时完成建模并实时改变场景。目前该服务已通过智谱MaaS平台向部分企业客户开放,未来计划持续扩大服务能力。ya3找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!

核心突破来自TileRT推理引擎。传统主流框架以算子作为基本调度单元,在单token、小batch场景下会被调度、访存与同步开销严重拖累。TileRT彻底抛弃了Runtime层的动态调度,在编译期(AOT)将整个计算图静态编排为一个常驻GPU的persistent Engine Kernel。在单卡内,计算、异步IO与通信被拆解为Tile级微任务,整个推理只Launch一次Kernel,中间结果通过寄存器、Shared Memory和L2 Cache直传,不再写回全局内存——从根本上消除了Kernel Launch的开销和全局内存读写的延迟。ya3找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!

它首次打破了行业长期的隐形天花板——“高性能模型必然高延迟,高速模型只能是轻量级模型”。顺便提一句,你用来跑推理的服务器,如果还在用动态调度的老框架,效率可能已经被甩开了一个代际。ya3找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!

前往 DeepSeek 体验 消息来源:DeepSeek 官方公告 · 本站快讯组整理