谷歌近日发布了Gemma 2系列的最小模型——Gemma 2 2B,参数量仅26亿,但在多项基准测试中表现优异,甚至超越了GPT-3.5(1750亿参数)和Llama 3 8B等大模型。该模型基于知识蒸馏技术,从更大的Gemma模型学习,实现了高效推理。
Gemma 2 2B支持文本生成、代码编写等任务,可在手机端运行,且已开源。谷歌同时发布了配套的量化版本,进一步降低部署门槛。这一进展表明,小模型通过优化训练策略,有望在特定场景替代大模型,推动AI民主化。
长按识别二维码