LLM2D
返回列表
SwiftKV：一种基于知识保留模型转换的快速预填充优化推理方法
SwiftKV: Fast Prefill-Optimized Inference with Knowledge-Preserving Model Transformation
作者: Aurick Qiao, Zhewei Yao, Samyam Rajbhandari, Yuxiong He
发布日期: 10/8/2024
arXiv ID: oai:arXiv.org:2410.03960v1

摘要

大型语言模型 (LLM) 在许多自然语言处理任务中取代了传统方法。然而，在命名实体识别 (NER) 中，现有的基于 LLM 的方法......
查看原文下载 PDF