LLM2D
多云提供商下的深度学习模型部署:基于低计算能力环境的探索性研究
Deep Learning Model Deployment in Multiple Cloud Providers: an Exploratory Study Using Low Computing Power Environments
作者: Elayne Lemos, Rodrigo Oliveira, Jairson Rodrigues, Rosalvo F. Oliveira Neto
发布日期: 4/1/2025
arXiv ID: oai:arXiv.org:2503.23988v1

摘要

arXiv:2503.23988v1 类别: cross 摘要:科技公司在云中部署机器学习模型的数量持续增长。当这些模型涉及深度学习(DL)技术时,硬件要求更高,云提供商的成本可能成为障碍。我们通过在三大主要云平台(AWS、Google Cloud、Azure)上使用GECToR模型(一种用于语法错误修正的DL解决方案)进行实验,探索了部署DL模型的方法。我们通过7种执行环境进行了10次实验,评估了每个云提供商的实时延迟、硬件使用和成本。我们发现,虽然GPU在性能上表现出色,但平均成本比无GPU解决方案高300%。我们的分析还表明,处理器缓存大小对于实现成本效益的CPU部署至关重要,与GPU相比,可以实现超过50%的成本降低。本研究展示了在不使用GPU的情况下,基于云的DL推理解决方案的可行性和经济性,这将惠及资源受限的用户,如初创公司。