LLM2D
使用注释员指令辅助提示评估金融情绪分析:提高情境解释和股票预测准确性
Evaluating Financial Sentiment Analysis with Annotators Instruction Assisted Prompting: Enhancing Contextual Interpretation and Stock Prediction Accuracy
作者: A M Muntasir Rahman, Ajim Uddin, Guiling "Grace" Wang
发布日期: 5/14/2025
arXiv ID: oai:arXiv.org:2505.07871v1

摘要

arXiv:2505.07871v1 交叉类型 摘要:金融情感分析(FSA)给大型语言模型(LLMs)带来了独特的挑战,这些挑战超出了传统情感分析中的挑战,这是因为金融语境中使用的语言具有微妙性。这些模型的能力往往因现有基准数据集如金融短语银行中的情感分类的内在主观性而受挫。这些数据集通常包含未定义的情感类别,反映了注释者的个人视角,导致注释之间存在着显著的差异性。这种差异性导致了在基准测试中对LLMs的不公平期望,即它们被要求猜测人类注释者的主观观点,而没有足够的上下文。在本文中,我们提出了注释员指令辅助提示(AIAP),这是一种新型评估提示,旨在重新定义LLMs中的FSA任务。通过将原本面向人类注释者的详细任务指令整合到LLMs的提示框架中,AIAP旨在标准化人类和机器对情感的理解,提供一种公平且富于上下文的基础情感分析。我们利用从WallStreetBets子版块派生的新数据集WSBS来展示AIAP如何通过使机器操作与精炼的任务定义相一致,显著提升LLMs的性能。实验结果表明,AIAP显著提升了LLMs的性能,提升最高可达9.08。这种上下文感知的方法不仅在性能上带来了增量提升,还引入了一种创新的情感索引方法,利用模型的信心评分。这种方法增强了股票价格预测模型,并从金融情感分析中提取了更多的价值,突显了WSB作为关键金融文本来源的重要性。我们的研究提供了通过改进评估方法来提高FSA的见解。