LLM2D
通过领域约束实现神经网络任务专门化
Neural network task specialization via domain constraining
作者: Roman Malashin, Daniil Ilyukhin
发布日期: 4/29/2025
arXiv ID: oai:arXiv.org:2504.19592v1

摘要

arXiv:2504.19592v1 交叉公告类型 摘要:本文介绍了通过任务特定领域的约束来增强神经网络在数据子空间中表现的概念,该数据子空间是网络运行的空间。该研究在图像分类和对象检测任务上进行了训练专家的实验。结果表明,仅通过约束网络执行的类标签空间,即使不增加数据或改变训练制度,专家化也可以提高泛化器的准确性。理论分析和实验分析表明,有效的专家化需要修改传统的微调方法,并约束数据空间以使其包含语义一致的子集。在微调网络之前提出专家提取阶段,以实现最大的性能提升。我们还分析了在专家化过程中特征空间的演变。该研究为未来开发更高级的动态可配置图像分析系统铺平了道路,其中计算取决于特定的输入。此外,所提出的方法还可以帮助在某些数据领域应被排除在泛化器网络的考虑之外的场景中提高系统性能。