摘要
arXiv:2406.00367v2 宣告类型:replace-cross
摘要:有效地分析评论以挖掘latent意图在各个领域的战略决策中具有巨大的价值。然而,情感分析过程中存在多种挑战,包括评论中表现出的词形单词多样性、文本内部的长依赖关系、遇到未知符号和词汇,以及处理不平衡数据集。此外,现有的情感分析任务主要利用顺序模型来编码长依赖文本,这需要更长的执行时间,因为它顺序处理文本。相比之下,Transformer由于其并行处理的特性,所需的执行时间较少。在这项工作中,我们介绍了一种新颖的混合深度学习模型RoBERTa-BiLSTM,该模型将Robustly Optimized BERT Pretraining Approach(RoBERTa)与双向长短期记忆(BiLSTM)网络相结合。RoBERTa用于生成有意义的词嵌入向量,而BiLSTM有效地捕捉长依赖文本的上下文语义。RoBERTa-BiLSTM混合模型利用顺序模型和Transformer模型的优势来提高情感分析的性能。我们使用来自IMDb、Twitter US Airline和Sentiment140的数据集来评估所提出的模型相对于现有最先进的方法的性能。我们的实验结果表明,RoBERTa-BiLSTM模型超越了基线模型(例如,BERT、RoBERTa-base、RoBERTa-GRU、RoBERTa-LSTM),在Twitter US Airline、IMDb和Sentiment140数据集上的准确率分别为80.74%、92.36%和82.25%。此外,该模型在相同的数据集上分别实现了F1分数为80.73%、92.35%和82.25%。