扩展训练数据集和可学习参数的规模化定律已成为开发更强大学习模型的普遍策略。然而，由于数据、计算和信任方面的瓶颈，规模化定律的可持续性对深度学习的未来构成严重担忧。本文通过以简洁的方式开发下一代模型（即用更简单的模型实现更大的潜力）来解决这个问题。关键是利用领域特定知识（如符号、逻辑和公式）来驱动模型，而不是依赖规模化定律。这种方法使我们能够构建一个框架，利用这些知识作为“构建块”来实现模型设计、训练和解释的简洁性。实证结果表明，我们的方法优于通常遵循规模化定律的方法。我们还展示了我们的框架在科学人工智能中的应用，特别是在药物-药物相互作用预测问题中。我们希望我们的研究能够在基础模型时代促进更多样化的技术路线图。