我们通过实验证据表明，使用ReLU和绝对值激活函数的神经网络学习的是基于距离的表征。我们独立地操纵训练模型中内部激活的距离和强度属性，发现这两种架构对基于距离的小扰动都高度敏感，同时在基于强度的大扰动下保持稳健的性能。这些发现挑战了神经网络激活的普遍强度解释，并为其学习和决策过程提供了新的见解。