LLM2D
SleepCoT:一种基于思维链蒸馏的轻量级个性化睡眠健康模型
SleepCoT: A Lightweight Personalized Sleep Health Model via Chain-of-Thought Distillation
作者: Huimin Zheng, Xiaofeng Xing, Xiangmin Xu
发布日期: 10/23/2024
arXiv ID: oai:arXiv.org:2410.16924v1

摘要

我们提出了一种使用少样本思维链(CoT)蒸馏进行个性化睡眠健康管理的新方法,使小型语言模型(>20亿参数)能够在专业的健康领域与大型语言模型(LLM)的性能相媲美。我们的方法同时将问题解决策略、长尾专家知识和个性化推荐能力从更大的模型蒸馏到更高效、更紧凑的模型中。与现有系统不同,我们的方法提供三个关键功能:生成个性化睡眠健康建议、支持用户特定的后续询问以及回答特定领域的知识问题。我们专注于睡眠健康,因为它可以通过可穿戴设备进行测量,并对整体健康产生影响。我们的实验设置包括使用GPT-4o进行数据合成,使用Qwen-max创建指令集,以及使用Qwen2.5 1.5B进行模型蒸馏,这证明了在惩罚、推理和知识应用方面比基线小型模型有了显著改进。使用100份模拟睡眠报告和1000个特定领域的问题进行的实验表明,我们的模型在保持效率以用于实际部署的同时,实现了与大型模型相当的性能。这项研究不仅推动了人工智能驱动的健康管理的发展,而且还提供了一种在资源受限的环境中利用大型语言模型能力的新方法,有可能提高个性化医疗解决方案的可及性。