LLM2D
返回列表
利用 GEMM 隐藏随机数生成器，降低 Flash-Attention 中 Dropout 的成本
Reducing the Cost of Dropout in Flash-Attention by Hiding RNG with GEMM
作者: Haiyue Ma, Jian Liu, Ronny Krashinsky
发布日期: 10/11/2024
arXiv ID: oai:arXiv.org:2410.07531v1

摘要

在许多自然语言处理任务中，大型语言模型（LLM）已经取代了传统方法。然而，在命名实体识别（NER）中，现有的基于 LLM 的方法......
查看原文下载 PDF