LLM2D
微流:一款基于 Rust 的高效 TinyML 推理引擎
MicroFlow: An Efficient Rust-Based Inference Engine for TinyML
作者: Matteo Carnelos, Francesco Pasti, Nicola Bellotto
发布日期: 10/1/2024
arXiv ID: oai:arXiv.org:2409.19432v1

摘要

MicroFlow 是一个开源 TinyML 框架,使用 Rust 编程语言将神经网络 (NN) 部署到嵌入式系统,专门为效率和鲁棒性而设计,适用于关键环境中的应用。为了实现这些目标,MicroFlow 采用了一种基于编译器的推理引擎方法,并结合了 Rust 的内存安全性和功能。该解决方案能够成功地将 NN 部署到资源极其有限的设备上,包括仅有 2kB RAM 的裸机 8 位微控制器。此外,MicroFlow 能够比其他最先进的解决方案使用更少的 Flash 和 RAM 内存来部署 NN 参考模型(例如唤醒词和人员检测)。与现有引擎相比,它还可以针对中等大小的 NN 实现更快的推理速度,并且在更大的 NN 上也能获得类似的性能。实验结果证明了 MicroFlow 在资源特别有限的关键环境中部署 TinyML 模型的效率和适用性。