人工智能在自动化信息判断任务中是否存在认知偏差？尽管最近在衡量和减轻人工智能和大型语言模型（LLM）中的社会和算法偏差方面取得了进展，但大型语言模型在多大程度上表现得“理性”，或者它们是否也容易受到人类认知偏差诱因的影响，这一点尚不清楚。为了解决这个问题，我们的研究包括一项众包用户实验和一项基于大型语言模型的模拟实验，比较了信息检索 (IR) 环境下大型语言模型和人工评判者在潜在诱饵效应下的可信度评估，并根据传统人工评估者的基线，实证检验了大型语言模型在 COVID-19 医学（错误）信息评估任务中的认知偏差程度。从被试间用户实验和基于大型语言模型的复制实验中收集的结果表明：1）更大更新的LLM往往在区分可信信息和错误信息方面表现出更高的一致性和准确性。然而，由于存在更显著的诱饵式错误信息结果，它们更有可能给予错误信息更高的评价；2）虽然人类和LLM评估中都出现了诱饵效应，但与人工可信度评级相比，LLM判断中不同条件和主题的诱饵效应更为普遍。与普遍假设的人工智能工具的“理性”相反，我们的研究实证证实了大型语言模型中嵌入的认知偏差风险，评估了诱饵效应对大型语言模型与人工可信度评估的影响，从而突出了对人工智能去偏差、开发心理学指导的人工智能审计技术和政策（用于自动化判断任务及其他领域）的复杂性和重要性。