arXiv:2504.07245v1 通知类型: 新 摘要: 本研究提出了一种多阶段的方法，通过利用传统机器学习算法、深度学习架构和基于变压器的模型来对心理健康分类。一个新颖的数据集被构建和使用，以评估各种方法的性能，从传统的分类器开始，逐步过渡到神经网络。为了扩展架构范围，还评估了循环神经网络（RNN）如LSTM和GRU，以探索它们在数据中建模序列模式的有效性。随后，评估了Transformer模型如BERT，以评估语境嵌入在该领域的影响力。除了这些基准评估之外，本研究的核心贡献在于一种新颖的训练策略，该策略涉及由教师网络和学生网络组成的双模型架构。与标准的蒸馏技术不同，该方法不依赖于软标签转移；相反，通过修改损失函数，它促进了教师模型输出及其潜在表示的信息流动。实验结果突出了每个建模阶段的有效性，并表明所提出的损失函数和教师-学生交互显著增强了模型在心理健康预测任务中的学习能力。