arXiv:2505.02820v1 宣告类型: 新 摘要：代理主要是通过任务成功率指标进行评估和优化的，这些指标是粗略的，依赖于专家的手动设计，并且无法奖励中间出现的行为。我们提出了AutoLibra，这是一种代理评估框架，能够将开放性的人类反馈，例如，“如果你发现按钮被禁用了，就不要再点击它了”，或“这个代理过于自主，以至于自己决定做什么”，转化为评估代理轨迹中细微行为的指标。AutoLibra 通过将反馈与代理行为关联，聚类相似的正向和负向行为，并创建具有清晰定义和具体示例的具体指标，这些指标可以用于提示LLM作为评估工具。我们还提出了两个元指标来评估一组（诱导）指标与开放反馈的一致性：“覆盖率”和“冗余度”。通过优化这些元指标，我们实验证明了AutoLibra能够诱导比之前代理评估基准中提出的具体的代理评估指标更多的指标，并且能够发现新的度量标准来分析代理。我们还介绍了AutoLibra在代理改进中的两个应用：首先，我们展示了AutoLibra诱导的指标相对于多种文本游戏任务的成功率在广泛的范围中作为更好的提示工程目标，与基线相比，代理性能平均提高了20% 。其次，我们展示了AutoLibra可以迭代性选择高质量的微调数据以供Web导航代理使用。我们的结果表明，AutoLibra是一个强大的任务无关工具，可用于评估和改进语言代理。