找找AI 原创出品 技术

Cohere Command A+:Apache 2.0真开源与MoE量化工程突破

原创标识

Cohere发布Command A+,这是该公司首个MoE架构大模型,总参数规模2180亿、激活参数250亿,采用Apache 2.0许可证实现真正意义上的开源,而非行业常见的带限制性条款的“开放权重”。DHC找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
DHC找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
稀疏MoE架构与无损量化的双重工程创新。 MoE架构的核心设计理念是“激活即利用”——模型每次推理仅路由输入数据至最适合处理的若干“专家”子网络,其余部分保持休眠。Command A+的2180亿总参数中,每次生成仅激活约250亿参数,既保留了巨头级模型的知识容量与推理能力,又在运行时保持了近似小型模型的算力与能耗水平。在此基础上,Cohere叠加了复杂的量化方案:提供BF16、FP8和高度压缩的W4A4三种精度版本。其核心技术突破在于“选择性量化”——将MoE专家的权重压缩至4-bit,但保留关键注意力通路的全精度,同时叠加量化感知蒸馏(Quantization-Aware Distillation)技术,使得W4A4版本在低并发下达到每秒375个token的生成速率,首token延迟仅113毫秒,实现了接近无损的压缩效果。DHC找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
DHC找找AI - 专业AI导航网站,一站式AI导航,找找AI官网
许可证选择背后的商业战略。 Apache 2.0允许任何组织(包括大企业)进行商业使用、修改和再分发,不受限制性条款约束。Cohere创始人Aidan Gomez——正是Transformer论文《Attention Is All You Need》的合著作者——亲自宣布这一决定,带有明确的行业信号意义。在面对OpenAI、Anthropic等竞争对手以万亿级参数规模和专有协议构建壁垒的情况下,Cohere选择以“单卡可跑、真可商用”的开源路径切入差异化市场。

AI问答

国内AI最近犯过什么事儿吗?
说出来你可能不信,已经有人因为AI亏钱而在法院起诉了。
听说AI又在安全上捅娄子了?
这几天的安全新闻一个比一个惊悚。
有没有什么牛X的新模型发布?
看几个硬指标:编程测试SWE-Bench Pro,它直接干到了69.2% ,比GPT-5.5的58.6%高出10个百分点;金融分析测试也是53.9% ,同样领先所有对手。更狠的是,不但性能上去了,快速模式的速度快了一倍多,成本直接砍到原来的三分之一。
不听不听,我就想知道OpenAI权斗和马斯克互撕的大结局是啥?
前CTO Mira Murati出庭作证,对着奥特曼就是一顿锤。她直接在法庭上说,奥特曼在模型安全审批上误导过她,还说此人有个“大招”——给不同高管传递不同版本的事实,让大家谁都没法掌握全貌,决策权永远回到他自己手里。这不是外人瞎编,是亲信在法庭上当着全世界说的。
AI安全最近又出新问题了?听说有人用AI换脸直接盗号了?
对,而且是真事儿,5月30号央视刚曝出来的。一家国内公司好好的账号突然自己发了一篇“即将停更”的公告,后台密码也改了,连法人信息都被人篡改了。最后查出来,是有人伪造了以假乱真的动态“AI人脸”视频,直接骗过了平台的身份验证系统,顺利登陆进去了。
嵌入向量:AI把文字转换成数字的秘密
AI不认识文字,它只认识数字。为了让AI处理语言,第一步必须把每个字或词转换成一串数字,这串数字叫嵌入向量。
微调是怎样让通用模型变成专家模型的
一个通用大模型什么都能聊几句,但让它在某个专业领域表现得像专家,就需要做微调。微调的原理是:在已经训练好的模型基础上,用少量专业数据继续训练一小段时间。
为什么模型越大效果越好?
AI圈有一个经验规律:模型参数量每增加10倍,性能会稳定提升。这被称为规模定律。但为什么大模型就一定更聪明呢?
Transformer中的注意力机制是怎么“注意”的
大模型的核心技术叫注意力机制。简单说,模型在读一段文字时,会给每个词分配不同的“关注程度”。
查看更多问答 →