本站已收录 510+ 篇 AI 实战秘籍 · 人工审核筛选 450+ 个 AI 网站 · 每周一、四更新 查看最新

BigMac训练流水线:打破多模态大模型训练中的计算与内存帕累托边界

训练多模态大语言模型面临着模型异构性和数据异构性的双重挑战。视觉编码器和文本生成器各自具有不同的计算模式和内存访问模式,现有训练系统在设计流水线时必须在计算效率和内存占用之间做出权衡——提升计算效率往往以增加内存为代价,反之亦然,这种现象构成了一个帕累托边界。Ce5找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
Ce5找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
BigMac提出的解决方案是将编码器和生成器的计算优雅地嵌套到原始大语言模型的训练流水线中,形成一种依赖安全的嵌套流水线结构。传统方案中,编码器和生成器产生的激活值会在整个训练过程中持续占用内存,内存复杂度随批次大小线性增长。BigMac通过这种嵌套设计,将编码器和生成器的激活内存复杂度降低到O(1)——即与批次大小无关的常数级别,同时保持大语言模型部分的激活内存复杂度不变。Ce5找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
Ce5找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
更重要的是,BigMac在实现这一内存优化的同时,达到了与理想无限内存设定下相同的计算效率。这意味着BigMac真正打破了计算与内存之间的帕累托边界,使两者能够同时得到优化,无需做出任何取舍。在多种多模态大模型和训练任务上的实验评估显示,BigMac相比基准系统实现了1.08倍至1.9倍的训练加速,同时在批次大小增加时仍能保持稳定的内存占用。

前往 DeepSeek 体验 消息来源:DeepSeek 官方公告 · 本站快讯组整理