非常贵。以GPT-4级别为例:
训练成本:约1亿美元(包含算力、数据、人工)
算力需求:上万张A100/H100 GPU,训练数月
推理成本(每天回答用户):也是天文数字
所以现在涌现出大量"小模型"(如Llama 3 8B、DeepSeek-R1),用更少的钱达到接近大模型的效果,是2024-2025年的主流趋势。
非常贵。以GPT-4级别为例:
训练成本:约1亿美元(包含算力、数据、人工)
算力需求:上万张A100/H100 GPU,训练数月
推理成本(每天回答用户):也是天文数字
所以现在涌现出大量"小模型"(如Llama 3 8B、DeepSeek-R1),用更少的钱达到接近大模型的效果,是2024-2025年的主流趋势。