arXiv:2412.06779v2 更新类型: 替换-交叉 摘要：执行一般语言指导的双臂操作任务对于从家庭服务到工业装配等多种应用至关重要。然而，由于动作空间的高度维度，收集双臂操作数据需要高昂的成本，这给常规方法处理一般双臂操作任务带来了挑战。相比之下，单臂策略最近已经展示出在广泛的多种任务中具有令人印象深刻的泛化能力，这是由于模型参数和训练数据的缩放，这可以为双臂系统提供可共享的操作知识。为了解决这一问题，我们提出了一种插即用方法，称为AnyBimanual，该方法可以在很少的双臂演示的情况下，将预训练的单臂策略转换为一般的双臂操作策略。具体来说，我们首先引入了一种技能管理器，用于动态调度来自预训练单臂策略发现的技能表示，以适用于双臂操作任务，该方法将技能原语与任务导向补偿线性结合，以表示双臂操作指令。为了解决单臂系统和双臂系统之间的观察差异，我们提出了一种视觉对齐器，以生成软掩码用于工作空间的视觉嵌入，该视觉对齐器旨在使单臂策略模型在每个臂上的视觉输入与预训练阶段的视觉输入对齐。AnyBimanual在RLBench2的12个模拟任务中表现出优越性，成功率相比之前的方法提高了12.67%。在9个实际任务上的实验进一步验证了其实用性，平均成功率达到了84.62%。