LLM2D
基于激活驱动剪枝操作引导进化自动编码器训练
Guiding Evolutionary AutoEncoder Training with Activation-Based Pruning Operators
作者: Steven Jorgensen, Erik Hemberg, Jamal Toutouh, Una-May O'Reilly
发布日期: 5/9/2025
arXiv ID: oai:arXiv.org:2505.05138v1

摘要

arXiv:2505.05138v1 交叉通知类型:剪枝方法 摘要:本研究探讨了一种使用进化计算的新型神经网络剪枝方法,重点关注同时剪枝自编码器的编码器和解码器。我们引入了两种新的变异算子,这些算子利用层激活来引导权重剪枝。研究结果表明,其中一种基于激活的变异算子优于随机剪枝,从而在保持与传统训练模型相似性能的同时实现了更高效的自编码器。以往的研究已经证明,使用空间协作演化算法协同演化编码器群体和解码器群体来训练自编码器既有效又可扩展,而不是训练一个自编码器。我们评估了在这一背景下,相同的行为指导变异算子的表现。我们发现,在协作演化设置中,随机剪枝优于行为指导剪枝。这表明,在低维剪枝环境中,基于激活的指导证明更为有效,因为受限的样例空间可能导致随机化偏离真正的均匀性。相反,群体驱动的策略通过扩展总的剪枝维度提高了稳健性,实现了统计意义上的均匀随机性,从而更好地保持了系统动力学。我们根据不同的时间表进行了剪枝实验,并在传统和协同进化的群体情况下提出了操作符和时间表的最佳组合。