arXiv:2409.15046v1 公告类型: 交叉 摘要: 数据压缩技术不断发展，传统的信息论方法广泛应用于文本、图像和视频的压缩。近年来，利用生成式人工智能进行预测性压缩技术引起了越来越多的关注。本文介绍了一种使用大型语言模型（LLM）的无损文本压缩方法。该方法包括两个关键步骤：首先，使用密集神经网络架构（如变换器模块）进行预测；其次，使用标准压缩算法（如自适应哈夫曼、LZ77或Gzip）对预测的排名进行压缩。广泛的分析和与传统信息论基线的基准测试表明，神经压缩提供了更好的性能。