在随机环境中学习模型通常涉及学习一般结构规则和实例的特定属性。本文研究了各种学习方法中学习一般和特定之间的相互作用，重点关注样本效率。我们设计了一个名为 {\sc LeverWorlds} 的框架，它允许生成遵循类似生成过程但具有不同分布的简单物理启发世界，并且它们的实例可以用自然语言表达。这些世界允许进行受控实验，以评估不同学习方法的样本复杂度。我们对经典学习算法和 Transformer 语言模型进行了实验，包括微调和上下文学习 (ICL)。我们的一般发现是：(1) Transformer 通常能成功完成任务；但 (2) 它们在样本效率方面远不如对结构做出更强假设的经典方法，例如最大似然估计和逻辑回归。这一发现与最近将 Transformer 用作通用估计器的趋势相矛盾。我们提出了一种方法，该方法利用现代语言模型的 ICL 能力来应用简单的算法处理这种类型的数据。我们的实验表明，模型目前难以完成任务，但显示出很有希望的潜力。