在机器人学习中，观测空间至关重要，因为不同模态具有独特的特性，这可能成为策略设计之外的瓶颈。本研究探讨了各种观测空间对机器人学习的影响，重点关注三种主要的模态：RGB、RGB-D和点云。我们介绍了OBSBench，这是一个包含两个模拟器和125个任务的基准，以及针对各种编码器和策略基线的标准化流程。对各种接触丰富的操作任务进行的大量实验揭示了一个显著的趋势：基于点云的方法，即使是最简单的设计，也经常优于其RGB和RGB-D对应方法。这种趋势在从头开始训练和利用预训练的两种情况下都持续存在。此外，我们的研究结果表明，点云观测通常可以产生更好的策略性能，并在各种几何和视觉条件下展现出明显更强的泛化能力。这些结果表明，3D点云是复杂机器人任务中一种有价值的观测模态。我们还建议，结合外观和坐标信息可以增强点云方法的性能。我们希望我们的工作能够为设计更具泛化能力和鲁棒性的机器人模型提供宝贵的见解和指导。代码可在https://github.com/HaoyiZhu/PointCloudMatters获取。