TSBPO：树结构采样优化交互式语言智能体训练

论文提出 TSBPO，一种面向交互式语言智能体的树结构采样到更新训练范式，用 Root/Branch 分配器在固定 rollout 预算下挑选可能产生不同终局结果的分支。方法在重放的物理树上比较相邻兄弟片段的轨迹优势，并按匹配观察状态计算步级优势，同时对每个完整响应求和裁剪 token 代理损失。使用 Qwen2.5-1.5B 作为 actor，在 ALFWorld 上取得 97.79% 已见任务和 96.64% 未见任务成功率，在 WebShop 500 个测试目标上达到 81.07% 单回合成功率。消融实验显示去掉 WebShop 步级项后成功率降到 75.93%。