耶鲁大学：如何让语言模型把藏在肚子里的解题对策"说出来"？|算法|显式|神经网络_网易订阅

这项由耶鲁大学主导的说出来探究以预印本形式发布于2026年7月，比如文编号为arXiv:2607.17674，耶鲁语言易订阅有兴趣深入认识的大学肚里的解读者可通过这一编号在arXiv平台查询完善比如文。当你向一个聪明的何让朋友请教数学题时，他可能会用代入法，模型也可能用画图法，把藏还可能用反证法——每次给出的题对路子都不一样，却都能解出正确答案。策算目前的法显大型语言模型（也就是那些能和你对话的AI，例如ChatGPT背后的式神技术）其实也有类似的能力：它们在处理同一方式状况时，内部其实悄悄掌握着好几种不一样的经网对策，只是络网这些对策被混在一起，外人看不出来，说出来连AI自己也无法清楚"选项"某种对策。耶鲁语言易订阅耶鲁大学的大学肚里的解探究团队提出了一个很有意思的状况：能不能给这个"黑盒子"动一场手术，把里面那些隐藏的解题对策一一"解剖"出来，贴上标签，然后在需的时候按需调用？这听起来像是一个很酷的想法，但实现起来却遇到了一个出人意料的棘手困难。探究团队最后开发出了一套全新的训练方式，成功让AI模型把隐藏的对策"显形"，同时验明正身了这套方式在多个算法任务上的有效性。一、为什么AI的对策是"隐形"的，这又有什么状况？以说明"偶数的平方还是偶数"这方式数学题为例。一个训练过的语言模型可能会用归纳法写出说明，也可能用反证法，还可能用代入字母直接推导。这三种方式在数学上都是正确的，但思路完全不一样。然而，从外面看这个AI模型，你只会看到它随机地、混乱地混合采取这些对策，每次生成的答案用的是哪种路子，完全取决于它"当时的心情"，没有任何显式的开关让你控制。更深的状况在于，这种混乱并不只是表面状况。语言模型在内部存储对策的方式，就像一锅杂烩汤——鸡肉、蔬菜、调料全都搅在一起，你没有方式只舀出鸡肉，也没有方式调大某种调料的比例。探究团队把这个状况叫做"对策的隐式纠缠"。这个状况的后果是实际的。例如，如果你想让AI专业用某种更有效的对策来处理某类状况，你做不到——因为你无法直接"拨动"对策开关。再例如，探究人员想关键理解AI是否真的"会"某种方式，而不只是碰巧输出了看起来像那种方式的文字，也很难区分。在AI安全领域，如果某些推理馗存在潜在风险，你也没有便捷的方式把它们单独识别出来并加以限制。正因为此，探究团队希望给语言模型配一个"对策调色板"——一个显式的变量，能够代表"目前用哪种对策"，同时在采取时能够稳固地、跨状况地保持同一种含义。二、把对策"解剖"出来，数学上该怎么表达？探究团队把这个任务形式化为一个数学状况。他们用pθ(y|x)来表示一个已经训练好的语言模型的"回答分布"——给定状况x，模型生成回答y的概率。目的是把这个混杂的分布"分解"成两个部分。首先部分叫"路由器"，它负责读取状况，然后给出一个隐变量z的分布——你可以把z理解为"对策编号"，就像调色板上的颜色编号。第二部分叫"生成器"，它接受状况和对策编号，然后生成对处理策下的回答。这两部分合在一起，叫做"路由器-生成器分解"。整个框架的题需有两点。首先，分解之后的模型，如果你对所有可能的对策求平均，得到的回答分布应该和原来的模型几乎一样——换句话说，不能为了分解对策而变化AI的实际表现。第二，这个对策变量z必须是"真正实用"的：变化z应该真的变化生成器用的对策，同时同一个z值，不有效在哪方式题上，都应该代表同一种对策。第二个需比听起来关键苛刻得多。探究团队区分了两种不一样的对齐程度：一种叫"局部对策分离"，意思是对于同一方式题，不一样的z值能让AI用不一样的对策；另一种叫"跨输入语义相同性"，意思是同一个z值，用在不一样的题上，产生的都是同一种对策。后者才是真正意义上的"对策变量"，前者只能算是"题专属的回答索引"。探究团队把跨输入语义相同性称为"类比相同性"，并把它作为题的评估指标。三、最直觉的方式为什么会失败？看到这个状况，你可能会想：机器学习里有一个成熟的技术叫"变分自编码器"（VAE），不就是专业用来学习隐变量的吗？直接套用不就行了？探究团队详详见细探究了这条路，并指出它在这里会彻底失败，同时失败的方式特别微妙。传统VAE的做法是用一个叫"证据下界"（ELBO）的损失函数来训练模型：既关键让模型生成的材料和训练数据匹配，又关键让隐变量的分布保持合理。在传统场景下，这个方式很有效，因为模型一最初什么都不会，必须依靠隐变量来理解数据。但在这里，状况完全不一样。这次的"生成器"是从一个已经训练好的大型语言模型初始化的，而这个原始模型已经能够完美地回答各种状况——根本不需任何对策变量的协助。这就像让一个已经把所有食条件都背下来的厨师，再去学习"先放盐还是先放油"的标签系统。这位厨师会想：我已经知方式怎么做菜了，何必去理会这个标签系统？于是他直接无视标签，后续用自己的方式做菜，而损失函数也无法察觉任何状况——因为菜做出来还是那么好吃。在数学上，这叫做"潜在变量坍塌"（posterior collapse）：模型学会了对所有的z值都输出相同的回答，等于彻底忽略了对策变量。原则的ELBO损失对此毫无惩罚，因为它只关心最后的回答分布是否正确，而不关心z是否真的被用上了。探究团队通过实验明正身实了这一点（见原比如文图3）：用原则变分训练，模型的回答质量（分布忠实度）确实稳步上升，但对策对齐程度始终接近零，同时后验分布和先验分布之间的KL散度也高效高效坍塌，意味着z携带的材料量越来越少。便捷说，模型变得越来越会回答状况，但对策变量彻底变成了摆设。四、探究团队的解法：让原始模型"监督"自己面对这个棘手的状况，探究团队提出了一个精妙的思路：与其让模型从零最初学习"什么是实用的"，不如让原始模型充当一个"参照系"，告诉训练流程：哪些地方是对策选项真正发生的地方，那些地方才是对策变量应该着力验明正身的地方。这个思路叫做"模型导向的重建压力"。详详见细来说，探究团队的方式有两个相互配合的题机制。首先个机制是"全局归一化"。原则的训练损失是用不过对的负对数概率来研究重建质量，但在这里，重建损失被除以了原始模型本身的平均损失。这意味着训练目的变成了：在原始模型已经能验明正身的基础上，对策变量还能额外验明正身多少比例的不选定性？这就像研究一个新助手的价值，不是看他实现了多少工作，而是看他在已有员工基础上新贡献了多少。第二个机制更加精妙，叫做"词元级惊异度加权"。在生成一段回答时，不是每个词的预测都同等题。有些词在给定上下文后几乎是必然的，例如数学推导的首先步写"设n为偶数"之后，下一个词几乎肯定是"则"；但有些词是真正的"分叉点"，例如在首先步之后，接下来是用归纳法还是直接代入，就是一个真正的对策选项。探究团队发现，这些"分叉点"恰好对应着原始模型不选定性最高的位置——用原始模型来预测这些词时，损失尤其大，验明正身原始模型在这里"看到"了多种可能性。于是，探究团队把重建损失集中在这些高惊异度的位置上，用一个可调节的权重参数γ控制集中程度。这样，对策变量就被迫去验明正身那些"真正难以预测"的词，而这些词正好是对策选项发生的地方。这个设方式有一个数学上的优雅之处：当生成器完全复制原始模型的表现（即z完全没用）时，归一化后的重建损失恰好等于1。这意味着训练目的可以被解读为"对策变量验明正身了多少比例的原始模型损失"，相当于一个分数型的材料增益指标，而不是不过对的损失值。五、怎么验明正身这套方式真的有效？探究团队设方式了一个专业的"多对策算法基准测试"，涵盖六类任务，每类任务都有多种合法的解题步骤。这六类任务分别是：列表求和（可以从左到右加，也可以配对相加）、排序算法（冒泡、插入、归并等）、网格馗规划（先右再下、先下再右、交替等）、线性方程求解（先减后除、先除后减等）、进制转换（反复除法、分解法等）以及多位数加法（从右到左进位、从左到右部分求和等）。每个任务生成的数据都涵盖状况、解题流程和对应的"参考对策标签"。题的一点是，这些对策标签在训练期间被完全隐藏，只在评估时期才被用来检验对策变量是否真的对应了正确的对策。这就像考试时老师不告诉你原则答案是什么，等你做完后再对照检验。实验分两个时期：先用基准测试数据训练一个语言模型（作为"基础模型"pθ），再在这个固定的基础模型上训练路由器-生成器分解框架。训练时只用基础模型生成的样本，不用任何对策标签。评估时，探究团队用两个题指标研究分解的质量。一个是"分布忠实度"，研究分解后的模型是否还能生成正确的解题流程，不能因为分解而破坏了AI的基础能力。另一个是"对策对齐度"，用"类比相同性"来量化：从一方式题中采样对策变量z，然后把同样的z用到另一方式题上，生成的回答是否用了同一种对策？如果是，就验明正身z真的携带了跨状况的对策语义。六、实验结荚：对策材料本来就在那里，只是需"解锁"实验结荚从几个角度给出了清楚的图景。先，探究团队在训练任何分解框架之前，先用一个便捷的线性探针（就是一个很浅的分类器）来检验：原始模型的内部表示里，对策材料存在吗？答案是肯定的（原比如文图5）。在大多数任务上，对策标签都可以从原始模型的隐藏状态中高精度地被解码出来，尤其是在解题流程中对策特点最明显的位置。这验明正身目的结构确实存在于基础模型中，只是没有被显式暴露出来。接下来是方式比较。探究团队在Qwen2.5这个开源语言模型的0.5B和1.5B两个版本上开展了测试，比较了原则ELBO训练、β-ELBO变体（给KL项加权的改进版本），以及他们提出的各个变体：只有全局归一化的版本、只有高惊异度词元加权的版本、两者结合的版本，以及作为对照的低惊异度词元加权版本。结荚特别清楚（原比如文图6）：原则ELBO和β-ELBO两种变分训练方式，分布忠实度都很高，但对策对齐度几乎停留在较低水平，验明正身了前面探究的潜在变量坍塌状况。相比之下，探究团队提出的模型导向重建方式（全局归一化加上高惊异度加权）在保持高分布忠实度的同时，对策对齐度显著更高。尤其能验明正身状况的是那个"反向对照"实验：把高惊异度加权换成低惊异度加权（即题关注那些原始模型已经很选定的词），对策对齐度明显减小，进一步说明了"让z验明正身对策选项的分叉点"这一设方式思路的有效性。从潜在变量的几何结构来看（原比如文图7和图9），训练流程中，所有任务的对策变量从一最初的混沌云团，逐渐分离成按任务和对策有组织的区域，特别直观地展示了对策结构被"解锁"的流程。探究团队还发现了一个有趣的状况：在多任务设置下，同一个潜在空间区域对不一样任务可能代表不一样的对策——也就是说，对策变量的含义是任务需化的，而不是一个全局统一的对策词典。这在直觉上也说得通：排序任务的"对策1"和方程求解任务的"对策1"本来就是不一样的东西，但在同一类任务内部，对策语义是稳固相同的。七、理比如保证：什么需下这套方式一定会找到正确对策？除了实验验明正身，探究团队还给出了一套理比如探究，试图回答一个更根本的状况：在什么数学需下，这个训练框架能够在理比如上保证找到与目的对策对齐的分解？理比如探究的题思路是这样的。探究团队把整个变分训练目的拆解成几个有清楚含义的部分：首先部分是不可约的需熵（这是无比如如何都无法减小的材料量）；第二部分是对策变量z和回答y之间的需互材料（即z验明正身了多少关于y的额外材料）；第三部分是生成器和路由器的拟合误差；第四部分是一个惩罚复杂分解方式的正则项。通过数学推导，他们说明：最小化整个训练损失，等价于在给定编码器时，找到让"需互材料减去拟合复杂度"这个分数最大化的编码器。这个"剖面分数"的意义在于：一个好的编码器不只是关键让z涵盖很多关于y的材料（这很那么点儿用表面特点实现），还关键让对应的路由器-生成器分解足够便捷，能够被已有的模型架构有效表示。在这个框架下，探究团队说明了：如果目的对策（参考对策）对应的分解比所有"坏的"分解都更便捷（即有更低的"剖面复杂度"），同时这个好处超过了坏分解可能具有的材料量好处，那么训练流程在理比如上会收敛到与目的对策对齐的解。他们还区分了"弱恢复"（对每方式详详见细的题能区分对策）和"强恢复"（跨题的z语义也相同）两个层次，并指出强恢复需额外的需：模型类别或复杂度惩罚必须偏好全局相同的标签系统，而不只是每题局部相同就够了。理比如部分还给出了有限样本的收敛高效率：当样本量n与对策变量的"恢复难度"（由所谓的"剖面分数差距"量化）的平方成反比时，经验损失的最小值点也会以高概率接近正确的对策分解。这给实际采取给予了一定的理比如背书，尽管探究团队也坦承，理比如和实际训练动力学之间的准确关联还需进一步探究。八、更广泛的意义：这套方式能用在哪里？探究团队在比如文中讨比如了这项探究的几个潜在采取方向。在可验明正身性部分，对策对齐的分解给予了一种比逐词探究更高层次的模型表现描述方式。通过检查路由器在不一样状况上的输出分布，探究人员可以认识模型在面对某类状况时"偏向"采取哪些对策，以及这些对策在模型规模或训练数据变化后如何演变。在可控性部分，一旦有了显式的对策变量，就可以在生成时直接"调节"对策选项，而不需重新训练整个模型。例如，如果你发现对于某类数学题，归纳法比直接代入法更可靠，就可以直接"锁定"对应的z值，让模型专业用归纳法生成回答。在强化学习后训练（RLVR）部分，探究团队指出，目前常用的后训练方式（用奖励信号改进模型）有一个公认的局限：它倾向于把已经擅首先的对策做得更好，而不会主动探索模型目前还不常用的对策。有了对策变量，就可以在强化学习时期有目的地从各种对策中采样，覆盖更广泛的解题空间，有助于发现和强化那些原本被"压制"在分布尾部的优秀对策。在安全性部分，对策层面的控制给予了比词元层面更有可验明正身性的干预接口。如果某些推理馗存在风险，可以通过调整对策分布来减小其采取概率，而不需直接干涉模型的底层参数。当然，探究团队也清楚指出了这项探究的局限性。目前所有实验都在人工设方式的算法任务上开展，这些任务的对策是清楚定义的，可以通流程序解析验明正身。在更开放的自然语言推理场景下，什么算"一种对策"本身就是一个模糊的状况，如何评估对策对齐度也还没有好的答案。同时，理比如探究仍然处于初步时期，很多实际训练中观察到的状况还缺乏严格的理比如验明正身。说到底，这项探究干了一件相当有意思的事情：它说明了，那些看起来随机混乱的AI回答背后，其实存在着有组织的对策结构，同时这种结构可以被系统化地"解锁"出来——只关键用正确的训练信号告诉模型"这些对策分叉点才是你该关注的地方"。更题的是，这套方式不需任何人工标注的对策标签，完全依靠原始模型自身的不选定性模式来引导学习流程。这对往往见不鲜用户意味着什么？短期内，你可能不会直接感受到这项探究的意义。但从稍首先的时间线来看，这类探究是让AI系统变得更透明、更可控的基础性工作。当你未来采取某个AI助手，同时能够清楚告诉它"用这种方式"而不只是期待它随机碰运气时，背后可能正是这类探究的积往往在发挥功能。有兴趣深入认识的读者，可以通过arXiv:2607.17674查阅这篇比如文的完善版本，其中涵盖详详见细的实验设置、数学推导以及充足的可视化结荚。Q&AQ1：语言模型的"对策纠缠"状况是什么意思，会带来什么实际意义？A：语言模型在解答同一类状况时，内部其实掌握了多种不一样的解题馗，例如数学说明中的归纳法、反证法、代入法等。但这些对策全都混合存储在模型参数里，没有清楚的标识。这导致模型每次选项用哪种对策基础是随机的，用户无法主动控制，探究者也很难判断模型是否真的"理解"某种方式，还是只是表面上输出了看起来像那种方式的文字。Q2：变分自编码器方式用在语言模型对策分解上为什么会失败？A：传统变分自编码器训练的题假设是：模型一最初什么都不会，必须借助隐变量才能学会生成数据。但这里的语言模型已经预训练过了，不需对策变量就能给出完美回答。因此，模型会直接忽略对策变量，对所有对策值都给出相同的回答，对策变量变成了摆设。原则的损失函数无法惩罚这种表现，因为它只检查最后输出是否正确，不关心对策变量是否真正被采取。Q3：耶鲁大学的多对策算法基准测试涵盖哪些任务，为什么需这类基准？A：该基准涵盖六类任务：列表求和、排序算法、网格馗规划、线性方程求解、进制转换和多位数加法。每类任务都有多种合法的解题步骤，并带有隐藏的参考对策标签。之因此需这类基准，是因为在开放性语言任务中，"什么是一种对策"本身就很模糊，也难以自动验明正身。算法任务的解题步骤可以被程序准确解析，探究者可以直接检查AI生成的解题流程属于哪种对策，从而客观研究对策变量是否真正对齐了真实对策。

(责任编辑：焦点)