LLM2D
Home
Arxiv
返回列表
探索OCR敏感神经元以提升历史文献实体识别
Investigating OCR-Sensitive Neurons to Improve Entity Recognition in Historical Documents
作者:
Emanuela Boros, Maud Ehrmann
发布日期:
9/26/2024
arXiv ID:
oai:arXiv.org:2409.16934v1
摘要
本文探究了 Transformer 架构中是否存在对光学字符识别 (OCR) 敏感的神经元,以及它们对历史文献命名实体识别 (NER) 性能的影响。通过分析神经元在响应干净和噪声文本输入时的激活模式,我们识别并随后中和了 OCR 敏感神经元,以提高模型性能。基于两个开放访问大型语言模型 (Llama2 和 Mistral),实验表明 OCR 敏感区域的存在,并展示了在历史报纸和经典评论中 NER 性能的提高,突出了针对性神经元调节在提高模型对噪声文本性能方面的潜力。
查看原文
下载 PDF