下一步鑫月配，大模型应该押注什么方向？
蚂蚁通用人工智能中心自然语言组联合香港大学自然语言组（后简称"团队"）推出PromptCoT 2.0，要在大模型下半场押注任务合成。
实验表明，通过"强起点、强反馈"的自博弈式训练，PromptCoT 2.0 可以让 30B-A3B 模型在一系列数学代码推理任务上实现新的 SOTA 结果，达到和 DeepSeek-R1-0528, OpenAI o3, Gemini 2.5 Pro 等相当的表现。
PromptCoT 2.0：PromptCoT 框架的一次全面升级
在一年前的这个时候，在整个 AI 社区都在思考大模型应该押注什么方向的时候，OpenAI 公布了 o1 的预览版，通过深度思考的新范式以及在竞赛数学代码任务上远远甩开 gpt4o 的性能，让整个大模型社区进入了"深度思考"时代。
如今，又是一年 9 月，蚂蚁与港大联合在大模型下半场押注任务合成。
为什么是任务合成？
事实上，按照 OpenAI 规划的 AGI 蓝图，大模型社区正在从 Reasoners 向 Agents 急速推进，各种关于 Agent 的工作，包括搜索、软件工程、客服、以及 GUI 等层出不穷。
在这林林总总的工作背后，团队认为，无论是对大模型推理，还是对于方兴未艾的智能体，有两项技术是起着基石作用的：
一是强化学习。作为强化学习之年，该项技术已经得到社区足够多的关注与投入，无论是方法还是框架都在急速推进。
而另一个，团队认为是任务合成。这里的任务合成是一个比较广泛的概念，可能包含问题合成、答案合成、环境合成、乃至评估合成。之所以将其和强化学习并列起来，团队有一些底层思考。
①当大模型走出数学代码竞赛之后，必然要面对的是现实世界中长尾而又复杂的问题，而"长尾"和"复杂"两个属性叠加在一起，就会导致一个数据稀缺的问题。没有一定量高质量（难度合适、覆盖全面）的任务数据作为起始点，无论强化学习多么强大，也没法发挥作用，甚至没法开始；
②当大模型变得越来越智能之后，可以预见合成数据的质量会越来越高，那么有一天，合成数据也许会取代人工数据成为大模型训练的主力。
强化学习是引擎，任务合成提供燃料，这是团队对未来大模型后训练范式的一个判断。
在这样的判断下，团队首先从问题合成切入，力图发展一套通用且强力的问题合成框架。这样的选择一是任务合成的课题比较庞大；二是问题合成可以说是任务合成的基石和起点。
早在今年年初，团队就提出了 PromptCoT 框架，通过将"思考过程"引入问题合成来提升合成问题的难度。
在这个框架下，团队将问题合成拆解成了概念抽取、逻辑生成、以及问题生成模型训练三个步骤。按照这三个步骤，通过精心构造的提示词生成了一批问题合成训练数据，并由此训练了一个基于 Llama3.1-8B 的问题生成模型。
利用这个模型，团队生成了 400k SFT 数据鑫月配，并用这份数据训练了 DeepSeek-R1-Distill-Qwen-7B 模型，在 MATH-500、AIME 2024 以及 AIME 2025 上的表现均超过了 32B 的 s1 模型。
在开源模型性能不断刷新的浪潮下，团队也在思考：
PromptCoT 能否走向更可扩展，更优雅的学习范式？
纯粹的合成问题有可能在效果上超过人工数据吗？
如果说 SFT 是通过蒸馏强模型来提升弱模型，那么强模型的能力还能通过 PromptCoT 提升吗？特别是当这些模型已经消费了社区海量的开源数据之后？
为了回答这些问题，团队推出了 PromptCoT 2.0。
PromptCoT 2.0 为一个可扩展框架，它用期望最大化（EM）循环取代了人工设计，在循环中，推理链会被迭代优化以指导提示构造。这样生成的问题不仅更难，而且比以往语料更加多样化。
PromptCoT 2.0 在 PromptCoT 1.0 基础上，实现了效果、方法、数据的全面升级。
效果升级：强化学习 +SFT，强弱模型齐起飞
前面已经展示了 PromptCoT 2.0+ 强化学习让强推理模型达到新 SOTA 的结果。那么如果用 PromptCoT 2.0 合成的问题进行蒸馏来训练弱推理模型，效果会怎样呢？
从表里可以看到，在完全不依赖人工问题的情况下，PromptCoT 2.0 大幅提升了弱模型的数学与代码推理能力，且整体表现优于依赖人工问题构建的数据集（如 OpenMathReasoning、OpenCodeReasoning）。
这一结果充分说明，相较于人工数据，合成数据具备更强的可扩展性，未来有望成为推动大模型推理能力提升的核心动力。与此同时，团队使用的教师监督（来自 GPT-OSS-120B-medium）在表达上更为紧凑（平均推理长度更短）。在保证高质量的前提下，较短的输出不仅减少了推理开销，也为更高效的大模型训练和推理提供了新的可能。
更重要的是，团队此次全面开源了 4.77M 个合成问题及对应的教师监督，供社区进行模型训练，特别是一些不适于 LongCoT 的模型（如扩散语言模型）。
数据升级：更难、更具差异化
在数据层面，开源的 4.77M 合成数据展现出两个显著特征：
1、更难：在零微调评测下（例如直接使用强指令模型解题），PromptCoT 2.0 表现为更低的即刻正确率和更高的推理 token 消耗，说明这些题目更能"咬合推理"，有效挖掘模型潜在的推理上限。
2、更具差异化：基于 all-MiniLM-L6-v2 的嵌入均值与余弦距离，并通过 MDS 映射到二维空间后，PromptCoT 2.0 的数据点与现有开源题集（OpenMathReasoning、OpenThoughts3、OpenR1 等）形成了独立分簇，而后者之间分布更为接近。
这表明 PromptCoT 2.0 并非简单重复已有题库，而是补充了其中缺失的"困难 + 新颖"区域，为模型训练提供了额外的分布层增益。
方法升级：从提示工程到 EM 算法
PromptCoT 2.0 在 PromptCoT 1.0 基础上引入基于期望最大化（EM）的优化过程，使逻辑生成模型和问题生成模型能够在迭代中相互促进。
具体而言，E-step 通过奖励信号不断优化逻辑生成，使其更契合概念并支撑问题构造；M-step 则利用这些逻辑持续改进问题生成模型。与以往依赖人工提示或特定领域规则的方式不同，PromptCoT 2.0 完全可学习、跨领域通用，能够在几乎无需人工干预的情况下，生成更具挑战性和多样性的问题。
在后训练上，除了 SFT，PromptCoT 2.0 采用了一种强化学习方法。在给定奖励信号的情况下，PromptCoT 2.0 从合成问题出发，让强基线模型通过自我探索推理路径来进行学习。实际优化兼容 PPO、GRPO、DPO 等各种在线离线强化学习方法。
这里 PromptCoT 2.0 对奖励信号要求较低，只要相对易得，可以包含一定噪音（实验中采用对数学代码分别采用的是 GPT-OSS-120B 和 Qwen3-32B）。在这种情况下，强基线模型就可以通过自博弈方式从自我经验中进行学习提升。
面向未来：从 Reasoners 走向 Agents ——问题合成 × 环境合成 × 多模态
尽管实现了大幅升级，但从任务合成来看，PromptCoT 2.0 仍只是起点。下一步，PromptCoT 将会考虑几个方向：
1、Agentic 环境合成。不仅出题，还要"造环境"（网页、API、GUI、代码沙盒、对话场景），让模型在可交互、可验证的世界里学会规划、操作与反思。
2、多模态任务合成。把图像 / 视频 / 表格 / 语音等信息纳入"概念→逻辑→任务"的模式，催生跨模态推理与工具使用。
3、自奖励和对局式自进化。 在社区中，已有一些自奖励以及基于"两方博弈"的自进化探索，例如"出题者–解题者"或"执行者–评审者"的对抗协作模式。这些探索为大模型发展提供了很好的思路，但却没法实现强基座模型下的 SOTA 效果。
那么，如果 PromptCoT 和自奖励相结合，或者 EM 内循环与博弈式外循环相结合，有没有可能进一步提升模型上限呢？
时间很紧，可做的却很多，在 PromptCoT 2.0 发布之际，下一个 PromptCoT 也已经在路上了。
该工作的第一作者为香港大学计算机系博士生赵学亮，目前在蚂蚁技术研究院通用人工智能中心实习。蚂蚁技术研究院通用人工智能中心自然语言组武威、关健、龚卓成为共同贡献者。
论文链接：https://arxiv.org/abs/2509.19894
Github 链接： https://github.com/inclusionAI/PromptCoT
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
� � 点亮星标 � �
科技前沿进展每日见鑫月配
天臣配资提示：文章来自网络，不代表本站观点。
- 上一篇：全民配资 2025年6月9日新疆绿珠九鼎农产品经营管理有限公司价格行情
- 下一篇：没有了
相关文章
沪深京指数
热点资讯
