我们展示了具有ReLU激活的前馈神经网络在适当定义的低复杂度数据上具有泛化能力。给定从简单编程语言生成的独立同分布数据，最小描述长度（MDL）前馈神经网络在插值数据的情况下以高概率泛化。我们定义了这种简单编程语言，以及此类网络的描述长度概念。我们提供了几个关于基本计算任务的示例，例如检查自然数的素性等。对于素性测试，我们的定理表明以下内容。假设我们从1到N中均匀随机抽取$\Theta(N^{\delta}\ln N)$个数的独立同分布样本，其中$\delta\in (0,1)$。对于每个数$x_i$，如果$x_i$是素数，则$y_i = 1$，否则$y_i = 0$。那么以高概率，拟合到这些数据的MDL网络能够准确回答新抽取的1到N之间的数是否为素数，测试误差$\leq O(N^{-\delta})$。需要注意的是，该网络并非设计用于检测素数；最小描述学习发现了一个能够做到这一点的网络。