微调是怎样让通用模型变成专家模型的
AI解答
一个通用大模型什么都能聊几句，但让它在某个专业领域表现得像专家，就需要做微调。微调的原理是：在已经训练好的模型基础上，用少量专业数据继续训练一小段时间。
微调和从头训练的区别很大。从头训练相当于让一个婴儿从零开始学所有东西，需要海量数据和巨额算力。微调则相当于送一个大学毕业生去参加两周的职业培训——他已经会说话了、会阅读了、会逻辑推理了，只需要教会他行业术语和工作流程。
技术上，微调通常只更新模型的一小部分参数，或者使用较小的学习率（比如从头训练学习率的十分之一）。这样做的目的是防止模型“忘记”之前学到的通用知识，这种现象叫灾难性遗忘。如果一个模型先在互联网数据上训练，再用法律文书微调，微调过度的话，它可能就不再理解“猫和狗的区别”这种常识问题了。
参数高效微调是一种更节约的方法。它不修改原模型的任何参数，而是在旁边添加一小块可训练的新参数（比如LoRA方法添加的低秩矩阵）。微调时只更新这块新增参数，原模型保持冻结。最终效果接近全参数微调，但需要训练的参数量只有原来的万分之一。
AI专家团
本站AI问答内容由以下大模型联合提供技术支撑
AI问答
嵌入向量：AI把文字转换成数字的秘密
AI不认识文字，它只认识数字。为了让AI处理语言，第一步必须把每个字或词转换成一串数字，这串数字叫嵌入向量。
微调是怎样让通用模型变成专家模型的
一个通用大模型什么都能聊几句，但让它在某个专业领域表现得像专家，就需要做微调。微调的原理是：在已经训练好的模型基础上，用少量专业数据继续训练一小段时间。
为什么模型越大效果越好？
AI圈有一个经验规律：模型参数量每增加10倍，性能会稳定提升。这被称为规模定律。但为什么大模型就一定更聪明呢？
Transformer中的注意力机制是怎么“注意”的
大模型的核心技术叫注意力机制。简单说，模型在读一段文字时，会给每个词分配不同的“关注程度”。
大模型为什么能一次生成几百个字？
当你问AI一个问题，它并不是一次性想好完整答案再写出来，而是一个字一个字往外“蹦”的。每次只预测下一个字是什么，然后把新生成的字加到输入里，再预测下一个字。这个过程叫做自回归生成。
AI是怎么“学习”的？——从婴儿学说话说起
AI的学习过程，本质上和这个婴儿一模一样，只是速度要快上几万倍。
AI以后会取代我的工作吗？
与其说取代你的工作，不如说取代那些不会用AI的人。一个很真实的数据是：近4成程序员的绩效考核已经纳入了AI能
最近有AI造谣翻车的例子吗？
刚发生没多久。前阵子有媒体用AI辅助写汽车行业的报道，模型在信息不足的时候凭"常识"推测，搞出了一份"被约谈
国家最近出了什么AI新政策？
5月份比较密集。最重要的一份是三部门（网信办、发改委、工信部）联合发布的《智能体规范应用与创新发展实施意