深度 ReLU 网络族覆盖数已被用于刻画其逼近理论性能，对非参数回归中产生的预测误差进行上界估计，并量化其分类能力。这些结果基于通过显式构造覆盖得到的覆盖数上界。文献中似乎没有关于覆盖数下界的相关研究。本文填补了这一空白，推导出具有有界权重的全连接网络、具有有界权重的稀疏网络以及具有量化权重的全连接网络的覆盖数的紧密（乘法常数内）下界和上界。由于界限的紧密性，可以深入理解稀疏性、量化、有界与无界权重以及网络输出截断的影响。此外，这些界限允许刻画神经网络变换的基本极限，包括网络压缩，并通过深度网络对非参数回归中的预测误差给出尖锐的上界。具体来说，我们可以移除深度网络估计 Lipschitz 函数的最佳已知样本复杂度速率中的 $\log^6(n)$ 因子，从而建立最优性。最后，我们确定了最优非参数回归和最优深度网络逼近之间的系统关系，统一了文献中的大量结果，并揭示了普遍的潜在原理。