在训练深度神经网络时，我们核心的目标是寻找一组参数（权重和偏置），使得损失函数（Loss Function）的值最小化。这个寻找最优参数的过程，就是“优化”。梯度下降法（Gradient Descent）是这一过程的基石，但它本身存在一些固有的挑战。为了克服这些挑战，一…