8月6日,记者从腾讯获悉,混元正式开源四款小尺寸模子,参数区别为0.5B、1.8B、4B、7B,消费级显卡即可运转,合用于条记本电脑、手机、智能座舱、
据体会,这四款模子的推出,是腾讯混元大模子继续开源的一大方法,也进一步丰厚了混元开源模子体例,可为开荒者和企业供应更众尺寸的模子遴选。目前,四个模子均正在Github和HuggingFace等开源社区上线,Arm、高通、Intel、联发科技等众个消费级终端芯片平台也都公告扶助铺排。
新开源的4个模子属于调和推理模子,具备推理速率速、性价比高的特征,用户可依照运用场景圆活遴选模子考虑形式——速考虑形式供应爽快、高效的输出;而慢考虑涉及治理庞杂题目,具备更通盘的推理程序。值得一提的是,这四个模子的亮点正在于agent和长文才华,跟此前开源的Hunyuan-A13B模子相似,手艺上通过谨慎的数据修建和深化练习嘉勉信号计划,提拔了模子正在使命筹办、器材移用和庞杂决定以及反思等agent才华上的发扬,让模子实质行使中可能轻松胜任深度搜求、excel 操作、游览攻略筹办等使命。
其它,模子原生扶助长上下文窗口到达了256k,意味着模子可能一次性记住并惩罚相当于40万中文汉字或50万英文单词的超长内容,相当于一语气读完3本《哈利波特》小说 ,而且能记住宅有人物闭连、剧情细节,还能依照这些内容筹商后续故事生长。
铺排上,四个模子均只需单卡即可铺排,个别PC、手机、平板等筑立可直接接入。行使层面,四款小尺寸模子都可能餍足从端侧到云端、从通用到专业的众样化需求,而且曾经正在腾讯众个营业中行使。正在端侧行使上,腾讯手机管家诈欺小尺寸模子提拔垃圾短信识别无误率,告竣毫秒级拦截,隐私零上传;腾讯智能座舱助手通过双模子合营架构治理车载情况痛点,充实阐扬模子低功耗、高效推理的特色。