Trajectory2Gym: Decision-Grounded Compositional Interaction Synthesis for Tool-Use Agents
Trajectory2Gym 构造可执行的工具调用交互，覆盖训练数据中不足的多步依赖，并仅对能由智能体可见历史支持的决策提供监督。结合结构支持度选择和按原始交互归一化的 SFT，五种 Qwen3 模型规模在 Tau1、Tau2 和 BFCL 上的平均得分提高了 16.9–29.8 个百分点。
训练
可复用训练配方、监督微调、数据选择、蒸馏和优化实践。
研究分类
可复用训练配方、监督微调、数据选择、蒸馏和优化实践。
16论文
36资源链接
2026.11最新月份
5 篇论文
数据准备
论文
项目
代码
Hugging FaceA-RSI: Adaptive Task Refresh for Zero-Data Multimodal Self-Improvement
A-RSI 监测训练日志中的奖励差异和准确率，在多模态任务池的学习信号减弱时引入新任务。模型编写的程序生成问题及可独立核验的答案，无需外部训练样本或人工答案标签；加入 800 个新任务后，11 项基准的平均得分从 57.77 提升至 61.05。
GraphForge: Training Working Agents with Graph-Anchored Workspace Synthesis
GraphForge 从真实文件组成的工作空间合成工作型智能体训练任务，并用证据图将任务要求与验收标准共同锚定到文件证据。它先检验任务可执行性并修订任务，再收集轨迹用于微调，从而提升智能体在下游任务上的表现。
BigBang: Pursuing Open-Ended Intelligence through Self-Evolving Synthesis of Verifiable Frontier Tasks
BigBang 是一个通用 35B-A3B 模型，通过对抗式、自演化的生成器—评判器框架合成可验证前沿任务并进行后训练。该管线利用留出的真实研究任务进行校准，迭代提升任务难度与评估质量，从而在科学研究、推理、编程和工具调用上取得广泛增益。
论文DataPrep-Bench: Benchmarking LLMs as Training Data Preparators
DataPrep-Bench 是首个统一、以下游效果为依据的基准，用于评估大语言模型、智能体和数据工作流构建监督训练数据及预测候选数据集下游效用的能力。论文还提出技能驱动的数据构建智能体和分布对齐分数，后者在多数测试领域优于已有的质量、多样性与启发式评估方法。
3 篇论文
优化
Think Less, Locally: Local Preference Learning for Reasoning Compression
LoCo 从模型自行生成的推理轨迹中定位过度思考状态，固定相同前缀后重新生成更短且经验证的续写，再用局部偏好对进行 DPO 训练，让模型学会何时结束推理。仅使用数学数据训练后，数学任务的生成长度缩短 41.7–45.4%，代码任务缩短 23.4–36.3%，同时保持或提高准确率。
PowLU: An Activation Function for Stable Pre-Training of LLMs
该论文指出 SwiGLU 在大正输入下接近二次放大会扩大输出范围并加剧 outlier，从而在低精度大规模 LLM 预训练中带来数值不稳定。论文提出 Power Linear Unit (PowLU)，用有理幂函数在保持自适应非线性的同时稳定 spike 区域，并通过 scaling law 与 Ling 模型实验展示竞争性效果和更好的训练可扩展性。
Pre-training LLM without Learning Rate Decay Enhances Supervised Fine-Tuning
该论文表明，预热后保持学习率恒定的 Warmup-Stable-Only 预训练策略，在 1B 和 8B 模型上均能稳定优于衰减式调度器的下游 SFT 表现。损失景观分析将这一增益归因于更平坦的极小值，它们能够保留模型的下游适应能力。
8 篇论文
蒸馏
Rethinking On-Policy Distillation of Large Language Models II: One Training Example
该论文在数据最小化场景下研究在策略蒸馏，发现仅使用一个查询进行训练，也能在不同任务领域和模型族上恢复完整数据 OPD 的大部分增益。论文从状态覆盖率和学生—教师对齐速度解释这一现象，并表明 16 个语义多样的查询即可达到完整数据训练的效果，说明 OPD 更像是数据过量而算法吸收效率不足。
On-Policy or Off-Policy Learning? A Systematic Study of Distillation Dynamics
该论文在强到弱蒸馏中分别控制 rollout 策略、token 级 KL 方向与学习率。前向 KL 对 rollout 来源较稳健，反向 KL 更偏好学生生成的轨迹，而遗忘和参数更新稀疏性主要受学习率影响。
Simple-OPD: Demystifying Warm-up for On-policy Distillation
该论文表明，在策略蒸馏的有效预热更依赖与教师兼容的思维链监督，而非仅依赖答案正确性。论文提出 Simple-OPD，以教师生成的推理轨迹进行接近饱和的 LoRA 预热，在域内适应与域外泛化之间取得平衡，并作为可插拔初始化方案接入后续 OPD。
Escaping the KL Agreement Trap in On-Policy Distillation
该论文揭示了在策略蒸馏中的低 KL 一致性陷阱：教师模型会局部顺应学生模型已损坏的 rollout，因而几乎无法提供纠错监督。论文提出自适应在线终止规则 KAT，过滤这些无信息后缀，在提升数学推理准确率的同时将平均 rollout 长度减少 59.73%。
On-Policy Distillation with Best-of-N Teacher Rollout Selection
该论文提出 BRTS，采样多条教师轨迹，并按照正确性优先、与学生当前行为对齐程度次之的规则选择监督信号。其辅助教师上下文分支和基于真实答案的恢复机制提升了 OPD 在高难度数学推理基准上的表现。
Trust Region On-Policy Distillation
该论文提出 TrOPD，通过仅在可靠区域使用反向 KL 监督，缓解教师与学生分布差异较大时在策略蒸馏的不稳定问题。该方法以裁剪、掩码或前向 KL 估计处理异常区域，并利用教师前缀的离策略指导将探索引回可信区域。
Revisiting On-Policy Distillation: Empirical Failure Modes and Simple Fixes
该论文指出 sampled-token OPD 的三类失效模式：token 级监督失衡、教师在学生生成前缀上的指导不可靠，以及 tokenizer 或特殊 token 不匹配。论文结合教师 top-K 局部支持匹配、top-p rollout 采样和特殊 token 掩码，提高训练稳定性并比标准 OPD 提升 19.8%。
Knowledge Distillation of Large Language Models
该论文研究面向生成式大语言模型的白盒知识蒸馏，并提出 MiniLLM，用反向 KLD 替代标准前向 KLD，以避免学生模型高估教师分布中的低概率区域。论文推导了有效优化方法，并在 120M 到 13B 参数的不同模型族上提升指令跟随质量、校准性、曝光偏差和长文本生成表现。