LLM2D
注意力机制是分析活动量监测数据所必需的吗?用于心理健康研究的可穿戴式加速度计数据的基础模型
Is Attention All You Need For Actigraphy? Foundation Models of Wearable Accelerometer Data for Mental Health Research
作者: Franklin Y. Ruan, Aiwei Zhang, Jenny Y. Oh, SouYoung Jin, Nicholas C Jacobson
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2411.15240v1

摘要

可穿戴式加速度计(肌动图)自20世纪70年代以来为临床研究提供了宝贵的数据,并且随着可穿戴设备的日益普及,其重要性也日益提高。肌动图在研究和临床环境中的有效性在很大程度上取决于所使用的建模架构。为了解决这个问题,我们开发了预训练肌动图转换器(PAT)——第一个专门设计用于处理肌动图的预训练全注意力模型。PAT 使用来自 NHANES 29,307 名参与者的肌动图进行预训练,使其能够在针对精神健康领域各种肌动图预测任务进行微调后,即使在数据有限的情况下也能提供最先进的性能。例如,当使用仅来自 500 名标记参与者的肌动图来预测苯二氮卓类药物的使用时,PAT 的 AUC 提高了 8.8 个百分点,优于最佳基线。PAT 参数少于 200 万个,并具有内置的模型可解释性,因此它既强大又易于在健康研究环境中部署。