可穿戴式加速度计（活动记录仪）自20世纪70年代以来就为临床研究提供了宝贵的数据，并且随着可穿戴设备的日益普及，其重要性也日益提高。活动记录仪在研究和临床环境中的有效性在很大程度上取决于所使用的建模架构。为了解决这个问题，我们开发了预训练活动记录转换器（PAT）——第一个专门用于处理活动记录的预训练且完全基于注意力机制的模型。PAT 使用来自 NHANES 中 29,307 名参与者的活动记录进行预训练，使其能够在微调到精神健康领域中的各种活动记录预测任务后，即使在数据有限的情况下也能实现最先进的性能。例如，当使用仅来自 500 名标记参与者的活动记录来预测苯二氮卓类药物的使用时，PAT 的 AUC 比最佳基线提高了 8.8 个百分点。PAT 拥有不到 200 万个参数并具有内置的模型可解释性，因此它既健壮又易于在健康研究环境中部署。