arXiv:2504.20348v1 宣告类型: cross 摘要: 大型语言模型(LLMs)在边缘AI系统中实现了实时功能调用，但引入了显著的计算开销，导致高能耗和碳排放。现有方法注重性能优化，而忽视了可持续性，使得它们在能源受限的环境中效率低下。我们引入了CarbonCall，这是一个具有可持续性意识的功能调用框架，该框架集成了动态工具选择、碳意识执行和量化LLM适应性。CarbonCall根据实时的碳强度预测调整功率阈值，并在功率限制下切换模型变体以维持高每秒令牌吞吐量。在NVIDIA Jetson AGX Orin上的实验结果表明，CarbonCall在减少碳排放（最多52%）、降低能耗（30%）和缩短执行时间（30%）的同时，保持了高效运作。