今天发外，继1月开源元景“自适宜慢忖量”头脑链大模子后，又针对DeepSeek系列模子举办了“自适宜慢忖量”优化升级，均匀可俭朴约30%的推理估计量，现已开源。这也是目前业界首个对DeepSeek系列头脑链模子做“自适宜慢忖量”优化升级的事情。
元景头脑链大模子具备众学科、众场景通用推理才智，且能正在确保慢忖量才智不打折的情状下，做到针对差别职司和难度的自适宜慢忖量，大幅低落了资源损耗，告竣了大模子“慢忖量”才智高性价比落地利用。
元景头脑链大模子接入DeepSeek-R1并非容易的“拿来主义”，而是“从其善，优其不善”，对DeepSeek-R1版本举办了调节，最大水平规避了其面临容易题目“太过忖量”的征象，使模子具备了“自适宜”才智。即正在面向难度较高题目时运用慢忖量形式天生长头脑链，面向容易题目时则目标于天生简略的头脑链，速速确切的输出闭连谜底。云云避免了谜底的冗余、资源的虚耗以及淘汰用户恭候功夫，提拔用户体验。
难度自适宜微调：为告竣模子推理的难度自适宜，应用DeepSeek-R1满血版模子采样天生数据，通过繁复胸怀化模块构制长度偏好数据集，对待容易题目从采样谜底中挑选长度较短的谜底，对困困难目挑选长度较长的谜底，使得谜底长度与目下题目繁复度相般配。正在此根本上对DeepSeek-R1举办微调，使得微调后的模子具备对差别难度标题的自适宜慢忖量才智。
二次蒸馏：针对DeepSeek-R1的系列蒸馏模子，因为其运用的蒸馏数据来自熬炼满血版R1时运用的熬炼数据，而非由机能更好的R1满血版本身天生的数据，这会导致取得的蒸馏模子未能饱满进修R1满血版的才智，蒸馏成绩大打扣头。为治理这个题目，运用了二次蒸馏的战略，即应用DeepSeek-R1满血版将已蕴蓄堆积的高质料数据转化为包含深度忖量历程的长头脑链式子数据，正在DeepSeek-R1蒸馏系列模子根本上再举办一次微调，使模子具备更强的推理才智。
难度自适宜加强进修：正在对模子举办二次蒸馏后，中邦联通进一步鉴戒DeepSeek-R1的构修思绪，正在GRPO算法根本上提出了一种难度自适宜加强进修算法DA-GRPO（Difficulty Adaptive GRPO），对二次蒸馏模子举办难度自适宜的加强进修熬炼，进一步提拔其推理成绩。除了运用古板的基于端正确实切性奖赏、式子奖赏、说话一律性奖赏外，DA-GRPO还基于每个题目的繁复水平和天生谜底的长度对奖赏得分举办校准。完全而言，即使模子对一个容易题目输出较长的谜底，则对奖赏分数举办相应的惩办。同时，若模子对疾苦的题目输出较长的谜底，则予以其更高的奖赏分数，以役使其举办更饱满的忖量。云云，通过普及样本谜底奖赏得分的区别度，使模子具备凭据题目难度输出相应长度谜底的才智，正在保障推理确切率的条件下明显淘汰了谜底冗余和资源损耗，从而告竣对差别难度题目的自适宜慢忖量。
以DeepSeek-R1-distill-32B模子为例，对上述办法的成绩举办了验证。通过正在数学职司测评集（MATH500）上比较以及完全实践可能看到，进程难度自适宜改制后的模子正在差别难度品级题目上天生的解答长度较原版均显著低重，而且对待最高难度（Level 5）输出的解答长度降幅最大，展现了模子对差别难度品级题目具备自适宜慢忖量才智。进程测评，这种立异的自适宜慢忖量办法，均匀可俭朴约30%的推理估计量，冗余输出大幅淘汰，用户体验取得有用提拔。