arXiv:2409.13701v1 公告类型: 交叉 摘要: 自动化聊天系统中的有效沟通依赖于理解和响应上下文的能力。传统模型在确定何时需要额外上下文以生成适当响应时常常遇到困难。本文介绍了上下文感知BERT（CA-BERT），这是一种专门微调以应对这一挑战的基于Transformer的模型。CA-BERT创新性地应用深度学习技术来识别多轮聊天互动中的上下文需求，从而提高响应的相关性和准确性。我们描述了CA-BERT的开发过程，该模型通过专注于专门的聊天对话数据集的新训练方案，适应了BERT的强大架构。该模型在分类上下文需求的能力上进行了评估，展示了在准确性和效率方面优于基线BERT模型的性能。此外，CA-BERT的实现展示了显著减少的训练时间和资源使用，使其适用于实时应用。结果表明，CA-BERT通过提供对上下文的细致理解，能够有效增强聊天机器人的功能，从而提高自动化系统中的用户体验和交互质量。本研究不仅推动了聊天应用中的自然语言处理领域，还为未来上下文敏感AI发展的研究提供了框架。