arXiv:2406.06773v2 宣告类型: replace-cross 摘要：本研究评估了在长上下文情况下零-shot 压缩技术对大型语言模型（LLMs）的有效性。我们发现，在使用某些压缩方法时，随着上下文长度的增加，计算错误有增加的趋势。我们提出了一种假设来解释不同 LLM 压缩技术的多样化行为，并探索减轻某些技术在长上下文下性能下降的补救措施。这是普林斯顿大学李恺教授的 COS 598D 机器学习与系统课程的课程报告。由于计算资源有限，我们的实验仅在 LLaMA-2-7B-32K 上进行。