LLM2D
支持向量机增强机器 (SVBM):利用 AdaBoost 和残差连接提升分类性能
Support Vector Boosting Machine (SVBM): Enhancing Classification Performance with AdaBoost and Residual Connections
作者: Junbo Jacob Lian
发布日期: 10/10/2024
arXiv ID: oai:arXiv.org:2410.06957v1

摘要

在传统的增强算法中,对误分类训练样本的关注强调了它们在学习过程中的重要性,因为它们难以学习。虽然在 AdaBoost 框架中使用标准支持向量机 (SVM) 作为弱学习器可以通过专注于错误样本来提高模型性能,但这会带来巨大的挑战。具体来说,SVM 以其稳定性和鲁棒性为特征,可能需要去稳定化才能适应增强范式,这反过来又会因为依赖于先前迭代的加权结果而限制性能。为了解决这些挑战,我们提出了支持向量增强机 (SVBM),它将一种新颖的子采样过程与 SVM 算法和残差连接技术相结合。这种方法通过考虑当前模型的预测和先前轮次的输出来更新样本权重,从而实现有效的稀疏性控制。SVBM 框架增强了形成复杂决策边界的能力,从而提高了分类性能。SVBM 的 MATLAB 源代码可在 https://github.com/junbolian/SVBM 访问。