Meta-CoT 经由过程显式建模天生特定头脑链（CoT）所需的底层推理进程，扩大了传统的头脑链方式。「咱们有一份对于『推理时光盘算』的新研讨，以及咱们从前多少个月始终在研讨的内容！咱们提出了一些实践，阐明为什么它是须要的，它是怎样任务的，咱们为什么须要它，以及它对超等智能象征着什么。」刚，斯坦福博士生 Rafael Rafailov 在 X 上官宣了一项他参加的新研讨《 Towards System 2 Reasoning in LLMs: Learning How to Think With Meta Chain-of-Thought 》。Rafailov 进一步表现，「咱们须要高等推理的重要起因在于成绩的庞杂性。模子练习数据中固然包括了困难的处理计划，但并未涵盖这些处理计划的实在数据天生进程。处理计划自身是某种庞杂的元头脑链（Meta-CoT）的输出，而这一进程并未被明白记载上去。」图为处理一个数学识题的进程，这个成绩是要找到一种运算符序列（包含加号 +、减号 -、乘号 * 跟除号 /），使得数字 7、3、11、5 经由过程这些运算刚好应用一次失掉成果 24。Rafailov 所说的 Meta-CoT，是一种新鲜的框架，它经由过程显式建模天生特定头脑链（CoT）所需的底层推理进程，扩大了传统的头脑链方式。该研讨以为，传统的 CoT 方式固然在处理简略成绩时无效，但未能捕获到庞杂推理的实在数据天生进程，这一进程平日波及非线性、迭代性跟潜伏的摸索与验证。Meta-CoT 经由过程显式建模这种潜伏的「思考」进程，扩大了 CoT 方式。本文以为，这种建模对处理须要高等推理才能的成绩至关主要。论文地点：https://arxiv.org/pdf/2501.04682该研讨从认知迷信的双进程实践中吸取灵感，将 Meta-CoT 框架看作为一种 System 2 推理情势。本文奠基了 Meta-CoT 实践基本，展现了怎样经由过程体系搜寻进程实现这一框架，以及怎样将这些进程内化到一个单一的自回归模子中。随后，本文供给了实证证据，包含对 OpenAI 的 o1 跟 DeepSeek-R1 等顶尖模子的剖析，这些模子展示出了与内化（高低文）搜寻分歧的行动。接着本文进一步摸索了经由过程进程监视来练习 Meta-CoT 模子的方式，以及经由过程蒙特卡洛树搜寻（MCTS）跟 A * 等搜寻算法天生分解数据的技巧。最后，本文概述了一个在单一端到端体系中实现 Meta-CoT 的详细流程，该流程联合了带有线性化搜寻陈迹的指令调剂跟强化进修（RL）后练习。本文还先容了一个名为 Big MATH 的名目，该名目整合了超越 100 万个高品质、可验证的数学识题，以增进这一范畴进一步研讨。该研讨不只供给了实践洞见，还为在 LLM 中启用 Meta-CoT 供给了一条实际道路图，为人工智能实现更强盛跟更类人的推理摊平了途径。为什么要提出 Meta-CoT？ Meta-CoT 是什么样的？ 咱们要问本人一个成绩：存在「头脑链」提醒功效的言语模子能否真的可能表白任何函数，从而处理恣意庞杂的成绩？明天，前沿模子的才能足以处理一年夜类数学推理成绩。然而，它们依然难以处理高等成绩，如 HARP 跟 Omni-MATH（通用奥林匹克级别数学基准）。作者提出了以下实践来说明这些教训察看成果：预练习语料库中的推理数据并不代表真正的数据天生进程，尤其是庞杂成绩的数据天生进程，它是大批潜伏推理的产品。别的，这一进程个别不会以从左到右、自回归的方法停止。更具体地说，预练习语料库跟后练习指令微调中广泛存在的头脑链（CoT）推理数据遵守简略成绩（如代数盘算、计数、基本多少多么）处理计划的实在数据天生进程。比方，处理高中代数成绩的教科书展现了天生谜底的个别进程。假如咱们遵守现有教科书中浮现的一些步调或方式，咱们终极能够得出解答。因而，这些能够经由过程存在恒定深度的 transformer 来进修，这些 transformer 可能表白进程中每个独自步调的庞杂性。比拟之下，庞杂推理成绩并不遵守这种形式。咱们可能有一组三元组（q, S, a），此中 q 是成绩，S = (s_1, ..., s_n) 是解答步调，a 是（可选的）谜底，但实在的数据天生进程并非自回归的：z_
