LLM2D
创造健康的摩擦:确定利益相关者对工作推荐解释的需求
Creating Healthy Friction: Determining Stakeholder Requirements of Job Recommendation Explanations
发布日期: 9/25/2024
arXiv ID: oai:arXiv.org:2409.15971v1

摘要

信息检索在招聘中的应用日益广泛,特别是通过职位推荐系统 (JRSs),这可能对求职者、招聘人员和公司产生重大影响。因此,此类系统在最近的立法中被认定为高风险。这要求 JRSs 可信且透明,让利益相关者能够理解为什么做出特定推荐。为了满足这一要求,需要确定利益相关者的确切偏好和需求。为此,我们使用一个现实的、基于任务的、混合设计用户研究 (n=30) 评估了一个可解释的职位推荐系统,其中利益相关者必须根据模型的解释做出决定。这种混合方法评估包括两个客观指标——正确性和效率,以及三个主观指标——信任、透明度和有用性。这些指标对每个参与者评估两次,一次使用真实解释,一次使用随机解释。该研究包括在执行针对每个利益相关者群体调整的任务时遵循出声思考协议的定性分析。我们发现,为利益相关者提供真实解释并不能显着提高决策速度和准确性。我们的结果表明,对于所有类型的利益相关者来说,真实解释在系统感知的信任度、有用性和透明度方面优于随机解释,但这种趋势并不显著。我们确定,利益相关者从与解释的交互中获益更多,将其视为能够提供健康摩擦的决策支持,而不是之前假设的具有说服力的工具。