Eric Zhaoswag 肛交，现在是好意思国加州大学伯克利分校的又名博士生，师从于好意思国三院院士迈克尔·欧文·乔丹（Michael I. Jordan）。值得精良的是，图灵奖得主约书亚·本吉奥（Yoshua Bengio）和吴恩达等，曾经师从于乔丹院士 [1]。
更早之前，Eric Zhao 在好意思国加州理工学院取得了理学学士学位。名师带领加上个东谈主发愤，让 Eric Zhao 在以前三年间先后取得 NeurIPS 最好论文奖、好意思国国度科学基金会商量生商量奖学金和谷歌博士奖学金，并在 Google Rearch、Nvidia Research 和 Salesforce Research 等公司积贮了实习告诫。
最近，Eric Zhao 和合营者基于采样的搜索的延长趋势，通过延长基于采样的搜索的最简达成，只是使用立地采样和奏凯自我考证就能提供一种实用的推理顺次，该顺次让 Gemini v1.5 Pro 的推理才智在流行的基准测试中罕见 OpenAI 的 o1-Preview。
这一效果挑战了“要想达成顶级模子性能就必须采选高度专科化西宾或者采选复杂架构”的传统作念法。
Eric Zhao 在 X 上写谈：“通过立地抽取 200 个修起并进行自我考证，Gemini 1.5（一个陈腐的 2024 年头模子）打败了 o1-preview 并接近 o1。”“神奇的是，自我考证在领域化后当然变得更容易！你可能会合计，处罚决议池越大，挑选出正确的处罚决议就越难，但事实并非如斯！”
据了解，对于基于采样的搜索的可延长性，Eric Zhao 等东谈主将其部分归因于一种隐式延长气象，即从更大的反馈池中进行采样，反过来会提高自我考证的准确性。
商量团队进一步提议两个通用原则，以用于通过测试时估计来提高自我考证才智：
第一个通用原则是，通过对比不同回答不错针对演叨位置和幻觉位置提供对于有用的印迹。
第二个通用原则是，不同的模子输出作风适用于不同的情境，尽管念念维链对于推理相配有用，关联词也愈加难以考证。
色电影商量团队还发现，尽管一些前沿模子能够达成准确考证，关联词其开箱即用的考证才智却尽头薄弱，因此他们通过引入一个基准，来揣度这些不及之处的改换情况。
基于采样的搜索——是一种诳骗测试时估计的省略范式，它触及生成多个潜在反馈并采纳其中最好的一个，频频是让模子针对每个反馈进行自我考证以便详情其正确性。
近期，言语模子领域的新进展突显了测试时估计延长的蹙迫性，即在推理进程中使用更多估计资源能够增强模子的推理才智。
Eric Zhao 和合营者指出，提高测试时估计诳骗率的顺次有许多，比如通过强化学习隐式地荧惑模子生成更长的反馈，再比如还不错通过明确教唆来达到这一方针。
关联词，Eric Zhao 等东谈主合计行为“生成-测试”顺次的一种实例，基于采样的搜索——即模子通过立地采样或录用等方式生成多个反馈并从中采纳其推测为最好的一个，照旧最当然的范式之一。
除了能与其他测试时估计延长计谋达成互补除外，基于采样的搜索不仅具有极高的并行性，而况能够达成即兴进度的延长。而要想达成这些方针，只需要采样更多反馈即可。
因此，他们合计跟着言语模子在前沿数学和科常识题上的应用，基于采样的搜索将阐发着越来越蹙迫的作用。
其泄露，尽管已有商量展示了基于采样的搜索顺次所带来的上风，关联词对于测试时估计延长计谋的领域趋势仍有许多问题有待解答。
为了进一步探索上述问题，Eric Zhao 等东谈主商量了一种基于采样的搜索的从简且灵验的实例，该实例使用言语模子通过立地采样生成一组候选反馈，并通过使用当然言语来考证每个反馈，以便能够选出最好反馈。
具体来说，该团队所商量的情况是：模子必须自我考证其反馈以便采纳最好谜底，同期不作念不错探听真实谜底、或精准考证正确性的象征系统的硬性假定。
基于这一前提，他们探讨的问题是：当同期扩大采样反馈的数目和考证才智时会展现出哪些测试时分延长趋势？延长这种基于采样的搜索模范的极限是什么？以及在扩大搜索领域时要将考证才智麇集延长到什么进度？
通过本次商量，他们表现即使将测试时估计资源延长到远超自一致性顺次的性能实足点，基于采样的搜索在推感性能上仍能捏续改换。（注：自一致性顺次，是一种通过模子里面机制确保输出安闲性和逻辑一致性的本领，其中枢是通过多旅途推理和扫尾团员栽培模子的可靠性和泛化才智。）
在领域较大的应用中，即便他们汲取最省略的达成方式，推理准确性也能得到权臣栽培。在 LiveBench 和 AIME 等推理基准测试中，Gemini v1.5 Pro 的性能罕见了 OpenAI 的 o1 - Preview 版。与此同期，Gemini v1.5 Flash 的性能也能罕见 Gemini v1.5 Pro，并在后一项基准测试中呈现出捏续幂律延长的特色。
这不仅突显了基于采样的搜索对于模子延长才智的蹙迫性，还标明基于采样的搜索不仅能行为一种基线以用于对比其他测试时估计资源延长计谋，并能用于揣度模子搜索才智是否确凿得到了栽培。
商量东谈主员在论文中泄露，他们将基于采样的搜索的热烈延长趋势，主要归因于一种隐式延长气象。
东谈主们频频合计采样更多的反馈，会给考证带来更大的职守并会镌汰考证的准确性。关联词，该团队不雅察到在扩大采样领域之后，会盘曲地提高考证准确性。
从宏不雅层面来看，这是因为“好反馈”比“差反馈”更容易被考证，而扩大采样领域则能增多“好反馈”的候选反馈数目。
进一风物，商量团队制定了两种诳骗测试时估计来延长考证才智的计谋：
第一种计谋是奏凯比较候选谜底；第二种计谋是针对特定任务的候选回答加以重写。
前者诳骗候选反馈之间的互异，来为演叨可能出现的位置提供热烈信号，从而能够弥补言语模子的如下中枢瑕疵——即除非明确指出演叨位置，不然言语模子很难识别出演叨和幻觉。
后者基于商量团队对于输出作风适用性的不雅察，即在生成修起的时候，念念维链输出风物的确是有意的，但比拟更负责、更安妥数学老例的写稿作风它却愈加难以考证。
在论文中，商量团队通过下表先容了本次发现：即通过灵验的自我考证，只是通过扩大基于采样的搜索范围，就足以在推理和数学基准测试上让模子性能接近启程点进模子的性能。
具体来说，他们展示了 Gemini v1.5 Pro 模子在以下情况下的准确性：每个问题只尝试一个处罚决议（Pass@1），尝试 200 个处罚决议并采纳最常见的最终谜底（Consistency@200），以及在基于采样的搜索中尝试 200 个处罚决议并评估其正确性，最终采纳得分最高的处罚决议（Verification@200）。
需要阐述的是：Pass@1，是一种常用于评估生成模子的方针，旨在揣度模子在给定任务中第一次生成的谜底是否正确。Consistency，指的是模子在不恻隐境下能够保捏一致的举止和输出。Verification，是一种评估模子输出安闲性和逻辑一致性的方针。
在基于采样的搜索（Verification@200）方面，Gemini v1.5 的性能罕见了 OpenAI 的 o1-Preview。
商量中，课题组探讨了推理才智跟从两个基本测试时估计轴的变化规矩。
出于估计方面的商量，商量东谈主员汲取了无视平分的简化版算法 1。
所稀有据皆基于 20 个立地种子进行平均，其中每次运行皆会从一次主运行中抽取处罚决议和考证分数进行子采样。主运行会为每个问题抽取 200 个处罚决议，并为每个处罚决议抽取 50 个考证分数。
在本次商量之中：搜索，指的是用于发现候选处罚决议的估计进程。考证，指的用于仔细搜检候选处罚决议的估计。
下图展示了商量团队在扩大搜索和考证领域时，每个基准测试的 Verification@k 热图。
除了在领域的两个维度上皆存在显豁的预热资本除外，商量团队还不雅察到当搜索和考证皆达成领域化时，能取得最为权臣的性能栽培。（注：预热资本，主要指在模子西宾或部署前需要参加的开动资源资本。）
这些趋势还标明，基于采样的搜索的性能在本次基准测试中尚未达到实足景色。
在 AIME 基准测试中，这种延长趋势最为显豁，即性能会受到 k（搜索）的瓶颈为止。商量团队将这一瓶颈为止归因于 AIME 问题的难度，其合计这些高难度问题导致取得正确解的概率变得极低。
通过增多采样点即增大 k 值，商量东谈主员沿搜索轴来延长基于采样的搜索范围，这将对性能产生两种相互对消的影响：
第一个影响是考证器必须辞别出更多的处罚决议，从而增多了出错的可能性。
第二个影响是生成器更有可能产生至少一个能得出正确最终解的处罚决议。
为了攻击第一个影响，商量团队商量了模子在连篇累牍问题上的 Verification@k 准确率，即模子在 k 个候选处罚决议中至少有一个决议能够达成最终的正确谜底。
在限定 Pass@k 的增长之后，如若增多 k 值关联词保捏考证尝试次数不变，预测准确率会呈着落趋势。
商酌词，他们却发现了所有这个词违犯的趋势，即准确率会随 k 的增多而提高。
这标明当增多生成反馈的数目时，不仅不错增多至少一个反馈正确的契机，还不错增多至少一个具有更高质料的正确反馈的契机。
在本次商量中，质料——不错默契为谜底的严谨性或齐全点性。质料较低的处罚决议可能在大体上是正确的，关联词无法表现其推理进程中的某个要道法子的合感性，或者无法表现在某个非要道法子中是否存在演叨。
隐式延长标明，通过使费力能更广阔的基础模子，考证扫尾应该变得愈加准确，因此基于采样的搜索应该也能变得愈加灵验，从而产生愈加合理的推理以及愈加令东谈主信赖的正确表现。
商量中，课题组还不雅察到这一气象：Verification@k 超出了 Consistency@k 实足点的延长。
在本领难度最高的基准测试 AIME 上，Verification@k 展现出幂律延长才智，而 Consistency@k 则开端趋于安闲。
Consistency@k 的快速实足不错归因如下：尽管它在小领域上能够灵验地摒除噪声演叨，关联词当它拘谨到最可能的反馈时，势必会趋于安闲。举例，在 AIME 上，Consistency@50 的准确率与 Consistency@10000 相易。
商量东谈主员指出，Consistency@k 不太可能复返正确解。关联词，对于一个真实灵验的考证器来说，它仍然有但愿在反馈漫步的长尾中，检测到荒僻但正确的处罚决议。
商量团队在 2024 年 AIME 的考试中就找到了一个这么的例子。其中，Gemini v1.5 模子在识别考试 II 第 11 题的正确谜底时遭受了贫苦。在 200 个从立地抽样的 Gemini v1.5 处罚决议中得出的最终谜底中，唯有一个谜底是正确的。
比拟之下，从反馈漫步的长尾部分，考证器能够识别出那些得出正确谜底的处罚决议。鉴于延长考证才智是股东搜索性能栽培的要道，这让模子能够在置信度为 98% 和 76% 这些看似正确的谜底之间进行辞别。
事实上，既然考证器能够如斯灵验地诳骗模子反馈漫步的长尾，这也标明 Pass@k（而不是 Pass@1）应该成为搜索应用圭臬的要道性能方针。
商量东谈主员指出，现存的后西宾本领举例东谈主类反馈强化学习本领旨在针对 Pass@1 进行优化，但这可能会以捐躯 Pass@k 为代价并会禁锢模子的搜索才智。
如前所述，商量团队还详情了两条通用原则，以便更灵验地指挥言语模子进行自我考证。
第一个通用原则是：通过比较谜底来定位演叨。候选处罚决议之间的不一致能够热烈默示演叨的潜在位置，从而能够应付模子在识别演叨和出现幻觉时调回率低（即频频忽略）的问题。这是因为当提供演叨场地的位置时，模子就能识别出演叨。具体来说，不错通过向考证器提供其他谜底来比较候选谜底，从而改换候选谜底的自我考证。
第二个通用原则是：通过重写反馈来适合输出作风。言语模子的最好输出作风应该取决于任务类型。在生成反馈的时候，汲取线性念念维链是灵验的。商酌词，当以严谨、头绪化和模块化的方式编写时，反馈更容易得到考证。这时，就不错诳骗这一特色，让考证器率先将候选回答改写为可延长的、安妥数学老例的“定理-引理-表现”风物（theorem-lemma-proof format），而不是奏凯去评估念念维链。（注：当 AI 生成数学解答或生成代码时，“定理-引理-表现”风物是考证器判断谜底正确性的要道依据。）
另外，这两个通用原则还为诳骗测试时估计资源来延长自我考证才智提供了技能。一方面，它们不错通过采样为考证器提供更多可供对比的反馈。另一方面，它们能以更高的严谨性和结构化进度针对反馈进行改写。
总的来说，本次论文商量了基于采样的搜索的领域化趋势。商量团队预测跟着言语模子将被用于处罚越来越复杂的问题，同期可被使用的估计资源越来越大，因此基于采样的搜索将阐发至关蹙迫的作用。另外，跟着模子学会诳骗隐式延长和输出款式适用性等原则，以及基于采样的搜索的延长率能够得到提高，模子的自我考证才智将在短期内连忙栽培。
需要阐述的是，已有业内东谈主士针对本次效果提议了不同主张。加拿大阿尔伯塔大学东谈主工智能商量员和助理涵养马修·古兹迪亚尔（Matthew Guzdial）告诉媒体，这种顺次在有宽敞的“评估函数”时最灵验。换句话说，当一个问题的最好谜底不错简约详情时这种顺次最为灵验，关联词大巨额查询并不是那么口角分明。不外，Eric Zhao 并不认可这一不雅点。至于本次效果是否果然能够站得住脚，省略还需更多执行来持重。
参考贵寓：
https://baike.baidu.com/item/迈克尔·欧文·乔丹/20825263
https://arxiv.org/pdf/2502.01839
运营/排版：何晨龙