每隔几个月就有开源模型宣称追平闭源旗舰。冷静看,追赶主要发生在三个方向。

蒸馏:用小模型学大模型的输出分布

蒸馏能让小模型在特定任务上接近大模型,但会损失泛化能力。这也是为什么很多开源模型在榜单上很强,实际对话却容易跑偏。

数据:质量比数量更重要

高质量合成数据与人工精选数据正在替代粗暴爬取。数据配比的调整,往往比参数规模更能解释一次版本跃升。

算力:训练效率的军备竞赛

同样的算力预算,谁能跑更多有效实验,谁迭代更快。MoE、混合精度、并行策略的优化,直接决定了迭代速度。

对使用者的建议

不要只看榜单,要按自己的任务做小样本评测:准备 30 条真实输入,人工打分,比任何排行榜都可靠。开源模型的最大价值不是「免费」,而是可私有化、可微调、可审计。