arXiv:2502.11164v1 通知类型: 新 摘要: DeepSeek-R1 以其低训练成本和卓越的推理能力著称，在各种基准测试中均取得了最先进的性能。然而，缺乏从实际应用场景角度进行的详细评估，使得用户难以选择最适合他们特定需求的 DeepSeek 模型。为了解决这一缺口，我们在 A-Eval，一个以应用为导向的基准测试上，评估了 DeepSeek-V3、DeepSeek-R1、DeepSeek-R1-Distill-Qwen 系列和 DeepSeek-R1-Distill-Llama 系列。通过比较原指令调优模型与其蒸馏版本，我们分析了推理增强如何影响多种不同实际任务的性能。我们的结果显示，虽然推理增强的模型通常具有强大的性能，但并非在所有任务上都能普遍超越基线模型，其性能提升因任务和模型而异。为了进一步帮助用户进行模型选择，我们通过性能等级分类和直观的折线图量化了 DeepSeek 模型的能力边界。具体实例提供了可操作的见解，帮助用户选择和部署最具成本效益的 DeepSeek 模型，确保在实际应用场景中实现最佳性能和资源效率。