摘要
arXiv:2504.01205v1 交叉发布公告类型:
摘要:大型语言模型(LLMs)越来越多地作为知识获取的工具,但用户无法有效地说明他们希望以何种方式呈现信息。当用户要求LLMs“引用可靠的来源”、“适当表达不确定性”或“包含多种视角”时,他们发现当前的界面并没有提供结构化的方式来表达这些偏好。结果是提示分享的民间传说:基于社区特定的复制提示通过信任关系传递,而不是基于实证效果。我们提出了元认知对齐框架(Epistemic Alignment Framework),这是一个源自认识论哲学文献的十个关于知识传输的挑战,涉及诸如证据质量评估和证词依赖校准等议题。该框架充当了用户需求与系统能力之间的结构化中介,为用户的需求与系统的交付之间建立了共同的语言。通过对在线社区中这些问题被积极讨论的定制提示和个性化策略的主题分析,我们发现用户发展出了复杂的工作方案来解决每一个挑战。然后,我们通过内容分析将我们的框架应用于两个主要模型提供商—OpenAI和Anthropic,考察它们公开政策和产品功能下的描述。我们的分析表明,虽然这些提供商在一定程度上解决了我们提出的挑战,但它们未能建立足够的机制来规定元认知偏好,缺乏透明度说明这些偏好是如何实现的,并且提供没有验证工具来确认这些偏好是否得到遵循。对于AI开发者而言,元认知对齐框架提供了支持多样化知识途径的具体指导;而对于用户而言,它将实现信息传递与他们的具体需求相一致,而不是采用一刀切的方法。