arXiv:2504.09685v1 交叉公告类型 摘要：本文介绍了一种新框架，专门用于为小型机器学习(TinyML)平台设计高效神经网络架构。通过利用大型语言模型(LLMs)进行神经架构搜索(NAS)，基于视觉变压器(ViT)的知识蒸馏(KD)策略以及解释性模块，该方法在准确率、计算效率和内存使用之间达到了最佳平衡。LLM引导的搜索探索了一个分层搜索空间，基于准确率、复数乘法操作(MACS)和内存指标通过帕累托优化细化候选架构。性能最佳的架构进一步通过基于logits的知识蒸馏进行微调，使用预训练的ViT-B/16模型，从而增强泛化能力而不增加模型大小。在CIFAR-100数据集上进行评估并在STM32H7微控制器(MCU)上部署，所提出的三种模型——LMaNet-Elite、LMaNet-Core和QwNet-Core——分别获得了74.50%、74.20%和73.00%的准确率。所有三种模型均超过了当前最先进的(SOTA)模型，如MCUNet-in3/in4（69.62% / 72.86%）和XiNet（72.27%），同时保持了低于100百万MACs的计算成本，并符合严格的320 KB静态随机存取存储器(SRAM)约束。这些结果展示了该框架在TinyML平台上的效率和性能，突显了结合LLM驱动的搜索、帕累托优化、KD和解释性以开发准确、高效和可解释模型的潜力。该方法为NAS开辟了新可能性，使得能够为TinyML设计高效的架构。