LLM2D
SpaceByte:迈向无词元化的大语言模型
SpaceByte: Towards Deleting Tokenization from Large Language Modeling
作者: Kevin Slagle
发布日期: 10/8/2024
arXiv ID: oai:arXiv.org:2404.14408v3

摘要

在众多自然语言处理任务中,大型语言模型(LLM)已取代了传统方法。然而,在命名实体识别(NER)中,现有的基于LLM的方法...