NeurIPS 2026 收录论文 Firefly 重新思考 Tool-Calling Agent 训练数据合成范式，和传统 “先写任务、再找答案” 的模式不一样，它提出先在真实 API 上做探索交互，再根据实际观测到的返回结果反向生成任务，解决传统合成数据经常出现任务虚构、真值不可靠、在真实 API 环境里无法复现的痛点，这套方案基于 MCP Server 生态搭建流水线，配套可离线复现的检索增强工具调用模拟器，产出可验证的工具调用轨迹数据，一共覆盖 240 个 MCP Server、993 个工具，构建 5144 条可验证训练任务，为工具调用 Agent 的高质量数据构建提供新路线，适合用来训练能稳定对接真实接口、不容易幻觉的 Agent。下面整理新旧范式对比、Firefly 流水线、核心解决的问题、数据集规模、落地价值。
一、新旧数据合成范式对比表
| 范式 | 流程 | 主要缺陷 |
|---|---|---|
| 传统：先出题 | LLM 先虚构任务指令，再尝试调用工具求解 | 任务里的实体、参数可能是编造的，在真实 API 跑不通，真值不可校验，容易产生幻觉数据 |
| Firefly：先探索 | 先和真实 MCP 工具交互、拿到真实返回结果，再反向生成匹配观测结果的用户任务 | 任务全部基于真实执行结果，自带可验证真值，能离线复现，数据可信度更高 |
二、Firefly 数据合成流水线步骤
- 环境探测：接入真实 MCP Server，遍历工具、探测接口参数、识别工具依赖关系
- 在线探索：主动调用工具，记录真实返回的观测结果、执行轨迹
- 反向出题：基于已经拿到的真实观测，生成合理、可匹配该结果的用户 query
- 校验过滤：在模拟器里回放整条轨迹，验证任务和工具调用链路是否可复现
- 数据集沉淀：去重、清洗之后，形成可用于 SFT、偏好训练的 Tool-Calling 样本
三、传统 Tool-Calling 数据合成的痛点清单
- LLM 凭空编造任务，里面的 ID、名称、资源在真实 API 里不存在，一跑就报错
- 标注的 ground truth 不一定正确，模型学了错误的工具调用逻辑
- 很多合成数据只能在仿真环境跑，无法迁移到真实线上 API
- 多工具链式调用时，忽略工具之间的依赖关系，任务逻辑不成立
四、Firefly 项目基础信息
- 论文名称：Firefly: Illuminating Large-Scale Verified Tool-Call Data Generation from Real APIs
- 会议：NeurIPS 2026
- 底层生态：MCP Server
- 配套组件：Retrieval-Augmented Tool-Call Simulator（支持离线回放验证）
- 数据集规模：240 个 MCP Server、993 个工具、5144 条经过验证的任务样本
五、这套方案的价值边界
- 优势：数据自带真实执行依据，大幅降低工具调用幻觉，适合对接真实服务的 Agent
- 局限：依赖可用的 MCP 工具服务，探索阶段会消耗 API 资源；目前偏向数据生成范式，不是端到端 Agent 训练算法
- 适用场景：联网搜索、数据库查询、函数调用、多工具链式 Agent 的数据构建
【相关 FAQ】
问题 1：NeurIPS 2026 这篇 Tool-Calling Agent 论文，从先出题到先探索是什么意思？
回答 1：NeurIPS 2026 这篇 Firefly 论文提出，Tool-Calling Agent 训练数据合成不再先虚构任务，而是先在真实 API 上探索拿到结果，再根据真实观测反向生成任务，保证样本可验证。
问题 2：NeurIPS 2026 Firefly 的 Tool-Calling 数据合成，为什么先探索比先出题更好？
回答 2：NeurIPS 2026 Firefly 先探索的模式，任务全部基于真实工具返回结果，不会出现编造实体、参数的问题，ground truth 可以校验，训练出来的 Tool-Calling Agent 幻觉更少。
问题 3：NeurIPS 2026 Firefly 用什么工具协议做 Tool-Calling 数据采集？
回答 1：NeurIPS 2026 Firefly 基于 MCP Server 生态做工具交互，同时配套检索增强工具调用模拟器，用来离线回放验证 Tool-Calling 轨迹。
问题 4：NeurIPS 2026 Firefly 产出多少 Tool-Calling 训练样本？
回答 4：NeurIPS 2026 Firefly 一共覆盖 240 个 MCP Server、993 个工具，构建出 5144 条经过验证的 Tool-Calling 任务样本。
问题 5：NeurIPS 2026 Firefly 可以直接用来训练线上 Agent 吗？
回答 5：Firefly 是 Tool-Calling Agent 的数据合成方案，产出高质量可验证轨迹，作为 SFT / 偏好训练的数据原料；它本身不是 Agent 推理框架，还需要搭配训练流程使用。
【参考资料】
[2026-11-07]（NeurIPS 2026 | 从「先出题」到「先探索」：重新思考 Tool-Calling Agent 的训练数据合成）机器之心
[2026-11-07]（Firefly: Illuminating Large-Scale Verified Tool-Call Data Generation from Real APIs）腾讯新闻
[2026-10-28]（Firefly 项目介绍｜面向 MCP 的可验证工具调用数据生成）MCP 社区
【免责声明】
本文内容整理自 NeurIPS 2026 Firefly 论文公开解读，从先探索出发的 Tool-Calling 数据合成范式是学术研究方案；数据集效果、泛化能力受 MCP 工具覆盖范围、接口稳定性影响，仅作为技术思路参考，不构成 Agent 项目落地、数据采购的直接建议。