大模型可以完成更多样化的任务，但小模型能在特定领域以更低成本、同样行之有效的方式满足需求。

大语言模型之所以性能卓越，正是得益于其庞大的规模，openai" "mcta和deepseek最新模型都使用了数千亿个参数，这些参数如同可调节的旋钮，决定了数据之间的关联，可以在训练过程中进行调整。当有了更多的参数，模型就能更好地识别数据的模式和它们之间的关联，从而变得更强大、更精准。

但这种能力的获得是有代价的。训练一个拥有数千亿个参数的模型需要大量的计算资源。例如，据报道，谷歌为了训练Gemini1.0Ultra模型花费了1.91亿美元（约合13.79亿元人民币）。此外，LLMs每次响应请求时也需要相当强大的计算能力，这使它们成为臭名昭著的能耗大户。根据美国电力研究所的数据，ChatGPT单次查询消耗的能量大约为谷歌搜索的10倍。

因此，一些研究人员正考虑使用小模型。IBM谷歌、微软和OpenAI最近都发布了小语言模型（SLMs），这些模型都只使用了几十亿个参数。（关于“小”的确切定义，学界目前还没有达成共识，但新模型的最大参数都在100亿个左右。）

小模型虽然不像大模型那般通用，但它们可以在特定的任务场景中表现出色，比如总结对话、作为医疗聊天机器人回答病人的问题以及在智能设备上收集数据等。卡内基梅隆大学的计算机科学家济科·科尔特（ZicoKolter）说：“对于很多任务来说，一个80亿参数的模型实际上已经相当不错了。”这些模型在笔记本电脑或手机上就可以运行，无需依赖庞大的数据中心。……