11月19日,扩散智能(DiffuSpace)正式发布Clover-35B-A3B-Preview的技术报告,并同步开放SFT代码,进一步披露模型架构设计、训练方法与评测结果。该模型总参数量350亿,激活参数约30亿。
在统一评测协议下,Clover在技术报告所列对比模型中的七项Agent指标上均取得最高分,覆盖工具使用、专业工作和智能体编程。其中SWE-bench Verified达到73.6,Terminal-Bench 2.1达到51.7。速度方面,在部分测试配置下,Clover的Token生成速度达到同级别自回归模型的5至10倍。
与主流大语言模型一个Token接一个Token生成答案不同,扩散语言模型可以并行生成多个Token,并在生成过程中反复调整内容,不必严格遵循从左到右的顺序。过去这条路线最大的吸引力是速度,如今随着Agent成为大模型竞争重点,扩散模型也开始尝试证明自己能够完成更复杂的任务。
扩散智能联合创始人、首席科学家龚珊三在接受专访时坦言,从生成提速到完整任务效率提高,团队还在持续验证。她表示,为让扩散模型高效处理长上下文和复杂任务,团队对底层架构进行了较大调整,采用分块扩散减少重复计算,并在当前生成块内实现双向信息交互;如何进一步拓展双向建模范围、发挥扩散模型的全局规划潜力,仍是接下来研究的重点。
龚珊三仍坚持此前判断:未来一到两年,扩散语言模型有机会在部分具体场景中替代同规模的自回归模型。她回顾称,2022年开始探索时该方向研究者很少,团队最初尝试连续空间扩散建模,因学习复杂度高难以训练成功,后来转向离散空间,经多轮实验才逐渐找到可行路线;如今Google、Inception、蚂蚁等越来越多团队加入,这一冷门方向有了更多同行者。