我们研究了使用随机梯度下降 (SGD) 算法训练机器学习模型所需的收敛速度和数据样本大小，其中数据点的采样基于其损失值或不确定性值。这些训练方法与主动学习和数据子集选择问题特别相关。对于具有恒定步长更新的 SGD，我们利用平方铰链损失和类似的训练损失函数，给出了线性分类器和线性可分数据集的收敛结果。此外，我们还将分析扩展到更一般的分类器和数据集，考虑了各种基于损失的采样策略和平滑凸训练损失函数。我们提出了一种名为自适应权重采样 (AWS) 的新算法，该算法利用具有自适应步长的 SGD，在期望上实现了随机 Polyak 步长。我们为平滑凸训练损失函数建立了 AWS 的收敛速度结果。我们的数值实验通过使用精确或估计的损失值证明了 AWS 在各种数据集上的效率。