持续学习（CL）是指算法能够持续并逐步地从其环境中获取新知识，同时保留先前学习的信息的能力。在一个数据模态上训练的模型在测试不同模态时往往会失败。一种直接的方法可能是通过连接两种模态的特征并将模型训练在融合数据上来融合这两种模态。然而，这要求每次遇到新领域时都从头开始重新训练模型。本文介绍了一种持续学习算法，该算法能够在人工环境中逐步学习不同的数据模态，该环境中的标注数据稀缺，但来自环境的非独立同分布（iid）未标注数据丰富。所提出的算法高效，仅需要存储每个类的原型。我们在一个具有挑战性的自定义多模态数据集上评估了该算法的有效性，该数据集包括来自软气动夹具的触觉数据和从视频序列中提取的非静止图像的视觉数据。此外，我们在自定义数据集和Core50数据集上进行了消融研究，以突出算法不同组件的贡献。为了进一步展示算法的鲁棒性，我们使用软夹具和外部独立摄像头设置进行实时物体分类实验，所有设备均与机器人操作系统（ROS）框架同步。