LLM2D
用于提取因果集体智能的软度量方法
Soft Measures for Extracting Causal Collective Intelligence
作者: Maryam Berijanian, Spencer Dork, Kuldeep Singh, Michael Riley Millikan, Ashlin Riggs, Aadarsh Swaminathan, Sarah L. Gibbs, Scott E. Friedman, Nathan Brugnone
发布日期: 9/30/2024
arXiv ID: oai:arXiv.org:2409.18911v1

摘要

理解和建模集体智慧对于解决复杂的社会系统至关重要。称为模糊认知图 (FCM) 的有向图提供了一个强大的工具来编码因果心理模型,但从文本中提取高完整性 FCM 具有挑战性。本研究提出了一种使用大型语言模型 (LLM) 自动化 FCM 提取的方法。我们引入了新的基于图的相似性度量,并通过 Elo 评级系统将它们的输出与人类判断相关联来评估它们。结果表明与人类评估呈正相关,但即使是表现最好的度量在捕捉 FCM 细微差别方面也存在局限性。微调 LLM 提高了性能,但现有度量仍然不足。本研究强调了针对 FCM 提取量身定制的软相似性度量的必要性,从而利用 NLP 推进集体智慧建模。