AI圈有一个经验规律：模型参数量每增加10倍，性能会稳定提升。这被称为规模定律。但为什么大模型就一定更聪明呢？
参数量可以理解为模型的“记忆单元”数量。一个小模型可能只有1亿个参数，一个大模型可能有1000亿个参数。多出来的999亿个参数并不是浪费，而是被用来存储更细粒度的知识。
举个直观的例子。一个只有1亿参数的模型，可能只能学会“猫是动物”这样粗粒度的知识。但一个1000亿参数的模型，可以额外学会猫有几种常见品种、猫的平均寿命、猫和狗的行为差异、不同文化中猫的象征意义……这些细碎的知识分散存储在无数个参数组合中。
另一个关键点是，大模型会出现“涌现”现象。当参数规模超过某个阈值（通常是百亿级别），模型会突然展现出小模型完全不具备的能力，比如数学推理、代码生成、多步骤规划。这些能力不是工程师特意教出来的，而是模型在大规模数据中自己“悟”出来的。就像水在100度时突然沸腾一样，大模型的能力也存在类似的临界点。