LLM2D
FineZip:突破极限,用大型语言模型实现实用无损文本压缩
FineZip : Pushing the Limits of Large Language Models for Practical Lossless Text Compression
作者: Fazal Mittu, Yihuan Bu, Akshat Gupta, Ashok Devireddy, Alp Eren Ozdarendeli, Anant Singh, Gopala Anumanchipalli
发布日期: 9/26/2024
arXiv ID: oai:arXiv.org:2409.17141v1

摘要

尽管语言建模目标已被证明与压缩密切相关,但令人惊讶的是,现代大型语言模型 (LLM) 并未被用于实际的文本压缩系统。本文对基于神经网络和 Transformer 的压缩技术进行了深入分析,以回答这个问题。我们比较了传统的文本压缩系统与基于神经网络和 LLM 的文本压缩方法。虽然基于 LLM 的系统显著优于传统压缩方法,但它们在实践中极不实用。具体而言,LLMZip 是一种最近推出的使用 Llama3-8B 的文本压缩系统,它需要 9.5 天才能压缩 10 MB 的文本,尽管压缩率有了巨大的提高。为了克服这个问题,我们提出了 FineZip——一种新型的基于 LLM 的文本压缩系统,它结合了在线记忆和动态上下文的想法,极大地减少了压缩时间。与 9.5 天相比,FineZip 可以在大约 4 小时内压缩上述语料库,比 LLMZip 提高了 54 倍,并且性能相当。FineZip 以很大的优势优于传统的算法压缩方法,压缩率提高了大约 50%。通过这项工作,我们迈出了使使用 LLM 进行无损文本压缩成为现实的第一步。虽然 FineZip 在这方面迈出了一大步,但 LLM 仍然不是大规模文本压缩的可行解决方案。我们希望我们的工作为未来的研究和创新解决这个问题铺平道路。