LLM2D
个性化和可信赖代理的动态评估框架:基于偏好适应性的多会话方法
Dynamic Evaluation Framework for Personalized and Trustworthy Agents: A Multi-Session Approach to Preference Adaptability
作者: Chirag Shah, Hideo Joho, Kirandeep Kaur, Preetam Prabhu Srikar Dammu
发布日期: 4/10/2025
arXiv ID: oai:arXiv.org:2504.06277v1

摘要

arXiv:2504.06277v1 声明类型:交叉领域 摘要:近年来生成式AI的进步显著增加了对个性化代理的兴趣。随着个性化程度的提高,也对能够信任这些代理的决策能力和行动能力的需求也更大。然而,这些代理的评估方法仍然过时且不够充分,往往无法捕捉用户互动的动态性和演变性。在本文中,我们主张评估个性化和自适应代理的范式转变。我们提议了一个全面的新框架,该框架使用具有独特属性和偏好的用户画像。在此框架中,代理通过结构化访谈与这些模拟用户互动,以收集其偏好并提供定制化建议。然后,使用大型语言模型(LLMs)驱动的模拟对其进行动态评估,从而实现自适应和迭代的评估过程。我们的灵活框架旨在支持各种代理和应用,确保全面且多样的评估,重点关注前瞻性的、个性化且可信的建议策略。