LLM2D
安全的自动重构以高效迁移 imperative 深度学习程序到图执行
Safe Automated Refactoring for Efficient Migration of Imperative Deep Learning Programs to Graph Execution
作者: Raffi Khatchadourian, Tatiana Castro V\'elez, Mehdi Bagherzadeh, Nan Jia, Anita Raja
发布日期: 4/9/2025
arXiv ID: oai:arXiv.org:2504.05424v1

摘要

arXiv:2504.05424v1 跨领域公告类型 摘要:效率对于支持针对不断增加的数据集的响应能力至关重要,特别是在深度学习(DL)系统中。传统的深度学习框架采用了延迟执行风格的DL代码——支持基于符号和图形的深度神经网络(DNN)计算。虽然这种开发方法具有扩展性,但容易出错、不够直观,并且难以调试。因此,在牺牲运行时性能的情况下,新兴的鼓励即时执行的自然命令式DL框架受到青睐。尽管混合方法旨在获得“两全其美”的效果,但要有效利用这些方法,需要精心考虑使代码能够安全、准确且高效地进行图形执行。我们提出了一种自动化重构方法,帮助开发人员指定他们的本应是即时执行的命令式DL代码是否可以可靠且高效地转换为图形执行,同时保留语义。该方法基于一种新颖的命令式张量分析,自动确定何时可以安全且可能有利地将命令式DL代码转换为图形执行。该方法作为PyDev Eclipse IDE插件实现,该插件结合了WALA Ariadne分析框架,并在19个Python项目上进行了评估,共计132.05 KLOC。我们发现,在766个候选函数中,有326个(42.56%)可以重构,并且在性能测试中观察到平均加速倍数为2.16。结果表明,该方法有助于将命令式DL代码优化到其最大的潜力。