LLM2D
神经网络的光谱架构搜索
Spectral Architecture Search for Neural Networks
作者: Gianluca Peri, Lorenzo Giambagli, Lorenzo Chicchi, Duccio Fanelli
发布日期: 4/2/2025
arXiv ID: oai:arXiv.org:2504.00885v1

摘要

arXiv:2504.00885v1 声称类型: 交叉学科 摘要:在人工神经网络领域,架构设计和优化是具有挑战性的问题。在此背景下,我们在此介绍SPARCS(SPectral ARchiteCture Search),一种利用层间传输矩阵的光谱属性的新架构搜索协议。SPARCS通过展开连续和可微分流形来探索可能的架构空间,从而使得基于梯度的优化算法得以应用。在参考简单的基准模型时,我们展示了新提出的这种方法生成了一个表达能力最小但足以处理所研究任务的自涌现架构,并且其参数量相比其他可行的替代方案有所减少。