机器学习（ML）技术的快速发展推动了专用硬件加速器的发展，旨在更高效地进行模型训练。本文介绍了CARAML基准测试套件，用于评估在NVIDIA、AMD和Graphcore等系统上，基于Transformer的大型语言模型和计算机视觉模型训练过程中的性能和能耗。CARAML提供了一个紧凑、自动化、可扩展且可重复的框架，用于评估各种新型硬件架构上的ML工作负载的性能和能耗。本文详细讨论了CARAML的设计与实现，以及一个名为jpwr的自定义功耗测量工具。