非凸优化是推动机器学习发展的重要工具，尤其对于深度神经网络和支持向量机等复杂模型而言。尽管存在多个局部最小值和鞍点等挑战，非凸技术仍提供了多种途径来降低计算成本。这些途径包括通过正则化来促进稀疏性、有效地逃离鞍点，以及采用随机梯度下降等子采样和近似策略。此外，非凸方法能够实现模型剪枝和压缩，从而在保持性能的同时减小模型大小。通过关注良好的局部最小值而不是精确的全局最小值，非凸优化确保了在更快收敛和更低计算开销的情况下获得具有竞争力的精度。本文考察了非凸优化在机器学习中的关键方法和应用，探讨了它如何在提高模型性能的同时降低计算成本。此外，本文还概述了未来研究方向和挑战，包括可扩展性和泛化能力，这些挑战将塑造机器学习中非凸优化的下一阶段发展。