arXiv:2504.13924v1 通知类型: 新 摘要: 随着准确性变得日益重要，企业AI助手正越来越多地在关键领域部署，每一个错误输出都可能成为一个重要的事件。本文提出了一种全面框架，用于监控、基准测试和在多个团队积极参与开发的条件下持续改进这些复杂的多组件系统。我们的方法包括三个关键元素：(1) 一个分层次的“严重性”框架，用于检测和分类错误，并为每个组件指定特定的错误率，从而促进有针对性的改进；(2) 一种可扩展且经过原则指导的基准构建、评估和部署方法，设计用于容纳多个开发团队、缓解过拟合风险以及评估系统修改后的下游影响；以及 (3) 一种利用多维评估的持续改进策略，能够识别并实施多种改进机会。通过采用这种全面框架，组织可以系统地提高其AI助手的可靠性和性能，确保其在关键的企业环境中有效运行。最后，我们讨论了这种多方面的评估方法如何为不同类别的改进打开了途径，为更 robust 和可信赖的AI系统铺平了道路。