LLM2D
双向因子分析:一种基于UI轨迹的意图提取评估方法
Bi-Fact: A Bidirectional Factorization-based Evaluation of Intent Extraction from UI Trajectories
作者: Sapir Caduri
发布日期: 2/20/2025
arXiv ID: oai:arXiv.org:2502.13149v1

摘要

arXiv:2502.13149v1 宣告类型: 新 摘要: Bi-Fact 介绍了一种新的自动评估方法,用于意图理解。该方法受到 FactScore 的启发,通过将金标准和预测意图都划分为事实,并考虑用户界面轨迹来计算精确度和召回率,从而实现细粒度的意图比较。本文概述了 Bi-Fact 的全面评估,评估了其性能并将其与现有指标进行了比较。