小米MiMo开源大模型:7B参数的推理新标杆

发布日期: 2025-07-16

  正在科技迅猛繁荣的此日,小米再次引颈潮水。克日,小米大模子团队通过其官方民众号“XiaomiMiMo”通告了一项饱舞人心的决议:正式开源专为推理工作量身定制的大模子——XiaomiMiMo。这款模子以其仅有的7B参数,正在众项公然测评中显露超卓,越发正在数学推理和代码竞赛中,公然超越了OpenAI的o1-mini(闭源)和阿里Qwen的QwQ-32B-Preview(开源),后者的参数范围更为巨大。这一冲破不但是小米本领能力的显露,也为推理工作的琢磨注入了新的生气。

  MiMo的壮大推理本事并非有时,而是源于其正在预演练和后演练阶段所采用的立异战术。正在预演练阶段,团队谨慎挑选并合成了约200B tokens的富含推理音信的语料,通过慢慢提拔演练难度的体例,使得模子正在累计接纳了25T tokens的演练后,创设了对推理形式的深入认知。这一进程为MiMo的卓绝推理本事奠定了坚实的根基。

  而正在后演练阶段,MiMo团队引入了高效且巩固的加强研习算法和框架,进一步提拔了模子的推理本能。他们立异性地提出了TestDifficultyDrivenReward(测试难度驱动奖赏)机制,有用缓解了麻烦算法题目中奖赏零落的困难。别的,EasyDataRe-Sampling(轻易数据重采样)战术的引入,确保了加强研习演练进程的巩固性,提拔了模子的牢靠性。

  为了普及演练功用,MiMo团队还策画并竣工了SeamlessRollout(无缝伸开)体系,明显提拔了RL演练速率2.29倍,验证速率也普及了1.96倍,从而大幅缩短了模子的开垦周期。能够说,XiaomiMiMo的开源为广阔的开垦者供给了珍贵的研习和琢磨资源,成为行业内新的标杆。

  正在当今人工智能迅猛繁荣的期间,推理本事的提拔不但合乎本领的先进,更影响着各行各业的来日。MiMo的开源不但是小米正在本领规模的一次大胆实验,更是对扫数AI生态的一次深远影响。它体现了小米正在饱动AI本领普及方面的信念,同时也为其他科技公司设置了典范。

  能够预料,跟着XiaomiMiMo的开源,来日将有更众的开垦者和琢磨者插足到推理模子的琢磨中来,饱动AI本领的进一步繁荣。小米正在这一规模的立异不但提拔了自己的商场逐鹿力,更为扫数行业的先进注入了新的动力。让咱们等候,MiMo可以正在来日的科技海潮中,络续书写属于它的传奇。返回搜狐,查看更众