arXiv:2307.02694v5 宣布类型: replace-cross 摘要：本文对深度学习中的损失函数和性能度量进行了全面回顾，突出了跨不同应用领域的关键发展和实际见解。我们首先概述了回归和分类等经典任务中的一些基本考量因素，然后将分析扩展到计算机视觉和自然语言处理等专业领域，包括检索增强生成。在每个设置中，我们系统地研究了不同损失函数和评估指标如何结合起来以解决特定任务的挑战，如类别不平衡、异常值和序列优化。本文的关键贡献包括：（1）一个统一的框架来理解损失函数和指标如何与不同的学习目标对齐，（2）对平衡相互竞争目标的多损失设置的深入讨论，以及（3）对现代应用如检索增强生成中使用的专门指标的新见解，其中忠实度和上下文相关性是关键因素。在过程中，我们强调了根据经验行为和领域限制选择或组合损失函数和指标的最佳实践。最后，我们指出了开放问题和有希望的方向，包括损失函数搜索自动化的实现以及为越来越复杂的大规模深度学习任务开发稳健且可解释的评估度量。我们的回顾旨在为研究人员和实践者提供更清晰的指导，以设计有效的训练管道和可靠的模型评估，适用于广泛的实际应用领域。