WebShaper是什么
WebShaper 是阿里巴巴通义实验室推出的创新的 AI 训练数据合成系统。通过形式化建模和智能体扩展机制,为 AI 智能体(Agent)的训练提供了高质量、可扩展的数据。WebShaper 首次引入了基于集合论的“知识投影”(Knowledge Projection, KP)概念,通过 KP 的交集、并集和递归操作,构造复杂的问题结构,精准控制推理路径和任务复杂度。WebShaper 的 Expander 智能体能从简单的“种子问题”出发,逐步扩展成复杂的推理任务,让 AI 自己“出题”。训练策略结合了监督微调(SFT)和 GRPO 强化学习,使模型在复杂信息检索任务中表现出色。

WebShaper的主要功能
形式化建模:WebShaper 首次提出了基于集合论的 IS(信息搜寻)任务形式化建模方法。通过“知识投影”(Knowledge Projection, KP)将复杂的信息搜寻任务分解为多个集合操作(如交集、并集、递归操作)。每个 KP 是一个包含特定实体的集合,通过这些操作可以构造出复杂的问题结构,精准控制推理路径和任务复杂度。智能体扩展机制:WebShaper 的一大创新是让 AI 自己“出题”。通过 Expander 智能体,系统从一个简单的“种子问题”开始,逐步扩展成复杂的推理任务。Expander 智能体调用搜索、摘要、验证等工具,逐步构造出更复杂、逻辑清晰的问题,并验证答案的正确性。确保了推理链条清晰,任务结构可控。高质量数据生成:WebShaper 通过形式化建模和智能体扩展机制,生成的训练数据不再是“靠猜题”,而是可控、可解释、可扩展的高质量任务。突破了预检索数据的边界,实现了更广泛的任务类型、能力激发和知识覆盖,减少了数据合成中的错误和冗余信息。Agent 训练策略:WebShaper 采用监督微调(SFT)和 GRPO 强化学习的组合策略,让 AI 智能体在模糊、多跳信息中逐步掌握推理与检索能力。训练从高质量的训练轨迹开始,通过奖励机制引导模型进行多步推理,避免“走捷径”或“猜答案”。
WebShaper的技术原理
形式化驱动框架:WebShaper 采用集合论对信息检索任务进行系统形式化,核心是“知识投影”(Knowledge Projections, KP)概念。KP 是基于特定关系的实体集合,