LLM2D
基于状态转换的技能聚类和动态长度调整的动态对比技能学习
Dynamic Contrastive Skill Learning with State-Transition Based Skill Clustering and Dynamic Length Adjustment
作者: Jinwoo Choi, Seung-Woo Seo
发布日期: 4/22/2025
arXiv ID: oai:arXiv.org:2504.14805v1

摘要

arXiv:2504.14805v1 类型: cross 摘要: 强化学习(RL)在各种领域取得了显著进展,但将其扩展到具有复杂决策需求的长期任务仍然颇具挑战性。技能学习尝试通过将动作抽象为更高层次的行为来解决这一问题。然而,当前的方法往往不能识别出语义相似的行为作为相同的技能,并且使用固定长度的技能,这限制了灵活性和泛化能力。为了解决这一问题,我们提出了动态对比技能学习(DCSL),这是一种新颖的框架,重新定义了技能表示和学习。DCSL 引入了三个关键想法:基于状态转移的技能表示、技能相似性函数学习以及动态调整技能长度。通过关注状态转移并利用对比学习,DCSL 有效地捕捉了行为的语义上下文,并根据行为的适当时间范围调整技能长度。我们的方法在复杂或嘈杂的数据集中能够实现更灵活和自适应的技能提取,并且在任务完成和效率方面显示出与现有方法竞争的性能。