浅谈梯度下降法/Gradient descent

当今世界，深度学习应用已经渗透到了我们生活的方方面面，深度学习技术背后的核心问题是最优化(Optimization)。最优化是应用数学的一个分支，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。

梯度下降法(Gradient descent，又称最速下降法/Steepest descent)，是无约束最优化领域中历史最悠久、最简单的算法，单独就这种算法来看，属于早就“过时”了的一种算法。但是，它的理念是其他某些算法的组成部分，或者说在其他某些算法中，也有梯度下降法的“影子”。例如，各种深度学习库都会使用SGD(Stochastic Gradient Descent，随机梯度下降)或变种作为其优化算法。

今天我们就再来回顾一下梯度下降法的基础知识。

1. 名字释义

在很多机器学习算法中，我们通常会通过多轮的迭代计算，最小化一个损失函数(loss function)的值，这个损失函数，对应到最优化里就是所谓的“目标函数”。

在寻找最优解的过程中，梯度下降法只使用目标函数的一阶导数信息——从“梯度”这个名字也可见一斑。并且它的本意是取目标函数值“最快下降”的方向作为搜索方向，这也是“最速下降”这个名字的来源。

于是自然而然地，我们就想知道一个问题的答案：沿什么方向，目标函数 f(x) 的值下降最快呢?

2. 函数值下降最快的方向是什么

先说结论：沿负梯度方向

函数值下降最快。此处，我们用 d 表示方向(direction)，用 g 表示梯度(gradient)。

下面就来推导一下。

将目标函数 f(x) 在点

高阶无穷小 o(α)可忽略，由于我们定义了步长α>0(在ML领域，步长就是平常所说的learning rate)，

因此，当

此时

但是

数学上，有一个非常著名的不等式：Cauchy-Schwartz不等式(柯西-许瓦兹不等式)①，它是一个在很多场合都用得上的不等式：

当且仅当：

时等号成立。

由Cauchy-Schwartz不等式可知：

当且仅当

所以，