发布日期: 2025-07-28
金融界2024年12月18日讯息，邦度常识产权局新闻显示，杭州宠胖胖科技有限公司申请一项名为“基于自蒸馏的微迁徙练习工夫的大模子Lora微调举措”的专利，公然号 CN 119129700 A，申请日期为2024年7月。
专利摘要显示，本发现公然了一种基于自蒸馏的微迁徙练习工夫的大模子Lora微调举措，蕴涵：对根蒂模子实行自蒸馏处分，获得群众规模众轮对话数据集；获取垂类单轮数据集；遵照群众规模众轮对话数据集和垂类单轮数据集构制垂类众轮对话数据集；应用垂类众轮对话数据集实行根蒂模子的Lora微调，获得微调后的模子。通过对根蒂模子实行自蒸馏获得群众规模众轮对话数据集，采用的自蒸馏举措无需出格本钱，使得数据获取更为经济高效，丰盛的数据集正在大模子的微调停使用于垂类场景中具有更为明显的本能和适用价格。构制的垂类众轮对话数据集，提拔了大模子正在垂类场景的合适性，凯旋治理了Lora单轮微调导致形式倒闭和众轮对话才气吃亏的题目。