arXiv:2502.14366v1 宣传类型: 交叉 摘要：平衡且高效的Information流对于优化语言生成模型至关重要。在本文中，我们提出了一种新的token选择方法——Entropy-UID，该方法通过平衡熵和均匀信息密度（UID）原理来增强文本生成的效率。我们的方法通过联合最小化熵和惊诧值来适应性地调整token选择，从而促进生成序列中信息分布更加均匀。理论验证表明，Entropy-UID在减少信息突起的同时保持了流畅性和一致性。该方法已在多个基准数据集上使用信息论指标进行评估，包括WikiText-2、OpenWebText和WMT。实验结果表明，与标准GPT-2和替代启发式方法相比，Entropy-UID实现了更低的惊诧值和熵的方差，从而产生了更加平衡和人类般的文本生成。我们的研究结果表明，可以通过利用信息论约束来改进自回归语言模型中的token选择策略。