本站已收录 510+ 篇 AI 实战秘籍 · 人工审核筛选 450+ 个 AI 网站 · 每周一、四更新 查看最新

Cohere Command A+:Apache 2.0真开源与MoE量化工程突破

Cohere发布Command A+,这是该公司首个MoE架构大模型,总参数规模2180亿、激活参数250亿,采用Apache 2.0许可证实现真正意义上的开源,而非行业常见的带限制性条款的“开放权重”。YRp找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
YRp找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
稀疏MoE架构与无损量化的双重工程创新。 MoE架构的核心设计理念是“激活即利用”——模型每次推理仅路由输入数据至最适合处理的若干“专家”子网络,其余部分保持休眠。Command A+的2180亿总参数中,每次生成仅激活约250亿参数,既保留了巨头级模型的知识容量与推理能力,又在运行时保持了近似小型模型的算力与能耗水平。在此基础上,Cohere叠加了复杂的量化方案:提供BF16、FP8和高度压缩的W4A4三种精度版本。其核心技术突破在于“选择性量化”——将MoE专家的权重压缩至4-bit,但保留关键注意力通路的全精度,同时叠加量化感知蒸馏(Quantization-Aware Distillation)技术,使得W4A4版本在低并发下达到每秒375个token的生成速率,首token延迟仅113毫秒,实现了接近无损的压缩效果。YRp找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
YRp找找AI | 免费AI工具导航 | 人工筛选靠谱优质 AI 工具!
许可证选择背后的商业战略。 Apache 2.0允许任何组织(包括大企业)进行商业使用、修改和再分发,不受限制性条款约束。Cohere创始人Aidan Gomez——正是Transformer论文《Attention Is All You Need》的合著作者——亲自宣布这一决定,带有明确的行业信号意义。在面对OpenAI、Anthropic等竞争对手以万亿级参数规模和专有协议构建壁垒的情况下,Cohere选择以“单卡可跑、真可商用”的开源路径切入差异化市场。

前往 DeepSeek 体验 消息来源:DeepSeek 官方公告 · 本站快讯组整理