由于对高级视觉计算的需求不断增长，估计手和物体姿势已成为一个重要的研究领域。主要挑战在于理解和重建手和物体之间的交互方式，例如接触和物理合理性。现有的方法通常采用图神经网络来整合手和物体网格的空间信息。然而，这些方法尚未充分利用图的潜力，而没有修改手部和物体图内以及之间的边。我们提出了一种基于图的细化方法，该方法包含一种交互感知图注意力机制来考虑手物体交互。利用边，我们在单个图内和不同图之间建立了紧密相关节点之间的连接。实验表明，我们提出的方法在物理合理性方面取得了显著的改进。