摘要
能够建模长距离依赖关系的循环神经网络 (RNN) 广泛应用于各种语音任务,例如关键词识别 (KWS) 和语音增强 (SE)。由于低资源设备的功率和内存限制,高效的 RNN 模型对于实际应用的需求迫在眉睫。本文提出了一种高效的 RNN 架构 GhostRNN,它使用廉价的操作减少了隐藏状态的冗余。特别是,我们观察到在训练好的 RNN 模型中,隐藏状态的部分维度与其他维度相似,这表明特定 RNN 中存在冗余。为了减少冗余并降低计算成本,我们建议首先生成少量内在状态,然后应用廉价的操作,基于内在状态生成幻影状态。在 KWS 和 SE 任务上的实验表明,所提出的 GhostRNN 在保持性能相似的情况下,显著降低了内存使用量 (~40%) 和计算成本。