利用文生图扩散模型实现无监督视觉目标跟踪
无监督视觉目标跟踪要求在视频中跟踪任意目标，但训练过程中不使用任何人工标注的真值框。这一任务的核心挑战在于，模型仅凭第一帧给定的目标外观，就需在整个后续视频序列中持续定位该目标。现有无监督跟踪器在需要细粒度理解视频帧中语义和视觉结构信息的场景下表现不佳。
技术
更新时间：2026-08-03
Engram内存模块：用稀疏内存访问破解Transformer的知识检索瓶颈
传统Transformer模型采用密集计算架构，所有参数在每个输入token处理时均被激活。这种设计在处理知识密集型任务时面临一个根本问题：检索特定知识需要在多层注意力机制中逐步聚焦，相当于用动态计算来模拟本应非常简单的静态查找操作，消耗了模型40%以上的计算资源。
BigMac训练流水线：打破多模态大模型训练中的计算与内存帕累托边界
训练多模态大语言模型面临着模型异构性和数据异构性的双重挑战。视觉编码器和文本生成器各自具有不同的计算模式和内存访问模式，现有训练系统在设计流水线时必须在计算效率和内存占用之间做出权衡——提升计算效率往往以增加内存为代价，反之亦然，这种现象构成了一个帕累托边界。
自推测解码框架Cassandra：无需训练即可加速边缘端推理
大语言模型在推理阶段的解码开销一直是制约其部署到消费级设备的瓶颈。自推测解码通过先让一个轻量级草稿模型快速生成候选token，再用原始大模型并行验证，能够在不损失准确率的前提下加速推理。然而，现有方法在低批次处理场景下表现不佳，且往往需要额外训练才能获得良好的加速效果。
三模式大语言模型：在自回归、扩散与自推测解码之间统一切换
传统大语言模型主要采用自回归解码方式，逐字从左到右生成文本。这种模式准确率高，但在低并发场景下严重受限于内存带宽——每生成一个token都需要将海量模型权重从高带宽内存移动到缓存，GPU算力常常无法被充分利用。与之相对，扩散模型能够并行生成多个token，但由于训练时平等对待所有token位置，缺乏自回归模型天然的从左到右语言先验，生成质量一直落后。
GIPO算法：利用高斯核信任权重破解大模型强化学习利用率崩溃难题
在大模型强化学习训练中，一个重要比率用于校正不同策略下采样数据的偏差。
混合专家架构路由机制：从Sparse MoE到Soft MoE的技术演进
混合专家（MoE）通过条件计算大幅扩展模型参数而不成比例增加计算量，其核心是路由机制——负责将每个token分配给最适合的专家，直接影响模型性能和负载均衡。
超长文本注意力瓶颈突破：CompactAttention让百万字文档处理提速近3倍
大模型处理长文本时，依赖一种叫做“注意力机制”的核心技术。
分层循环模型HRM-Text：用极少量计算颠覆Transformer预训练范式
大语言模型的预训练正越来越依赖少数拥有充足算力和数据资源的机构。训练一个有竞争力的基础模型，往往需要数万亿token、数千张GPU，甚至上千万美元的算力投入。然而，当前的训练模式并不高效，大量计算都消耗在了提示词、格式填充等无关内容上。
自适应芯片适配技术：同一套模型在不同硬件上的自动优化
在AI大模型从训练走向部署的过程中，硬件适配问题日益突出。一个在高端芯片上训练好的千亿参数模型，若要部署到不同规格的计算芯片上，传统方案往往需要针对每种芯片重新优化模型结构、调整并行策略，甚至重新训练部分参数。这种“为硬件定制模型”的模式，不仅导致开发周期延长3至5倍，更使得模型维护成本呈指数级增长。
基于昇腾芯片的低比特训练全链路适配方案
技术领域：国产算力 / 低比特训练
在非英伟达硬件上实现三值或二值模型的端到端训练，需要重写量化算子、通信
推理阶段键值缓存压缩算法：面向超长上下文的多头潜在注意力
技术领域：长上下文推理 / 注意力机制
大模型处理超长序列（>100万tokens）时，键值缓存（KV Cache）占用的显存会超过
NVLink 6与Scale-Up互联架构：从GPU到机架级AI计算
技术领域：AI硬件互联 / 并行计算
新一代AI芯片平台（如Vera Rubin NVL72）将72颗GPU与36颗CPU通过高带宽域（HBD）直
GUI智能体“观察-思考-行动”循环的工程实现
GUI智能体通过分析屏幕截图完成网页或应用程序的自动化操作。主流实现基于视觉编码器+大语言模型，具体架构分
三值（1.58-bit）大模型：从量化算子到端侧部署的技术原理
三值大模型（1.58-bit）将每个权重参数约束在 {-1, 0, +1} 三个值中，相比FP16可压缩约16倍显存，同时保留90%以上全