arXiv:2408.02825v2 宣布类型: 重置交叉 摘要: 现如今，软件系统倾向于包含人工智能（AI）组件。已知操作环境的变化会通过导致AI增强软件系统的行为意外变化，从而对其稳定性产生负面影响。然而，环境配置如何影响此类系统的运行行为尚未被探讨。理解并量化由不同环境设置引起的不稳定程度可以帮助从业者决定最适合的环境配置以获得最稳定的AI系统。为了实现这一目标，我们在Travis CI平台上对30个开源AI增强系统进行了实验，使用了三个关键环境变量（操作系统、Python版本和CPU架构）的八种不同组合。我们使用三个指标确定每种配置引入的不稳定性和程度：系统中AI组件的输出（模型性能）、构建和运行系统所需的时间（处理时间）以及与构建和运行系统相关的成本（费用）。结果显示，环境配置的变化会导致所有这三个指标上的不稳定；然而，观察到的频率较高的是处理时间和成本，而不是模型性能。例如，在Linux和MacOS之间，分别有23%、96.67%和100%的研究项目在模型性能、处理时间和成本方面出现了不稳定现象。我们的研究结果强调了识别能够减轻模型性能下降和减少处理时间和成本的理想环境配置设置的重要性，在部署AI增强系统之前。