arXiv:2502.00174v1 公告类型: 新 摘要: Abstraction and Reasoning Corpus 挑战 AI 系统在最少的训练数据下完成抽象推理，这是一个对人类来说直观的任务，但对机器学习模型来说却具有挑战性。利用 CodeT5+ 作为案例研究，我们展示了位置编码限制如何阻碍推理并影响性能。本工作进一步探讨了 transformer 架构中位置编码的作用，突出了其在不同大小和配置模型中的关键影响。通过对几种策略的比较，我们发现虽然 2D 位置编码和旋转位置嵌入提供了竞争力的性能，但在数据受限的场景中，2D 编码表现更优，强调了其在 ARC 任务中的有效性。