在现实世界环境中，机器人物体操控面临着巨大挑战，因为机器人操作必须对各种感知、估计和执行的不确定性具有鲁棒性，以避免可能发生的危险和代价高昂的错误，而这些错误阻碍了机器人的应用。在本文中，我们提出了一种基于物理信息因果贝叶斯网络 (CBN) 的灵活且可推广的框架，用于机器人对候选操控动作进行概率推理，从而使机器人决策在任意机器人系统不确定性下具有鲁棒性——这是第一个使用概率编程语言实现的框架。通过在高保真 Gazebo 模拟中进行的示例积木堆叠任务实验，我们证明了该框架能够：(1) 以高精度预测操控结果（预测准确率：88.6%）；以及 (2) 以 94.2% 的任务成功率执行贪婪的最佳下一步动作选择。我们还证明了该框架适用于带有家用机器人的现实世界机器人系统。因此，我们表明，通过将概率因果建模与物理模拟相结合，我们可以使机器人操控对系统不确定性更加鲁棒，从而更适合现实世界应用。此外，我们提出的通用推理框架可以用于未来的机器人学和因果关系研究，并可以扩展到这些领域。