深度学习技术凭借其在大型标记数据上的高性能，正在主导基于可穿戴传感器的自动化动物活动识别 (AAR) 任务。然而，当前基于深度学习的 AAR 模型仅在单个动物物种的数据集上进行训练，这限制了其在实践中的适用性，并在训练数据有限时表现不佳。在本研究中，我们提出了一种名为跨物种知识共享和保留 (CKSP) 的多对一框架，该框架基于不同动物物种的传感器数据。鉴于不同物种之间存在通用和物种特异性行为模式，我们设计了一个共享保留卷积 (SPConv) 模块。该模块为每个物种分配一个单独的低秩卷积层以提取物种特异性特征，并使用一个共享的全秩卷积层来学习通用特征，使 CKSP 框架能够学习物种间的互补性，并通过增加数据多样性来缓解数据限制。考虑到物种间数据分布差异导致的训练冲突，我们设计了一个物种特异性批量归一化 (SBN) 模块，该模块包含多个 BN 层，以分别拟合不同物种的分布。为了验证 CKSP 的有效性，我们分别在来自马、羊和牛的三个公共数据集上进行了实验。结果表明，与仅在单个物种数据上训练的基线方法（一对一框架）相比，我们的方法显著提高了分类性能，马、羊和牛数据集的准确率分别提高了 6.04%、2.06% 和 3.66%，F1 分数分别提高了 10.33%、3.67% 和 7.90%。这证明了我们的方法在利用多物种数据提高分类性能方面的良好潜力。