染念Blog

最近在学习梯度下降的知识,可是怎么也跳不出对公式的理解。

这是怎么回事呢?

我们先来看看这个公式:

$$ \omega:=\omega-α\frac{\partial j(\omega,b)}{\partial \omega} $$

从公式上直观理解,就是对$\omega$一直更新,$\frac{\partial j(\omega,b)}{\partial \omega}$是对$\omega$的偏导,是每次$\omega$走的长度,α是学习率,用来控制步长。

这就是梯度下降的公式,为什么这么减,很多很多的教程都告诉我们,因为梯度是变化率最大的方向,朝这个方向走,那么就能更快的到达最小值,这里我们就不过多讨论为什么了。

然后他们举三维的山脉例子,这种例子是可以理解的。

但是当你尝试用公式结合二维例子去理解,就会十分难受,不知道是否有人也是这样的疑惑看到我这篇博客,希望我的理解能够帮到你。

看到这个例子,你是否有以下疑惑:

首先公式会变成$\omega:=\omega-α\frac{d j(\omega)}{d \omega}$

  • 在二维坐标系里,对$\omega$求导,梯度方向是切线方向,梯度大小是斜率大小。(实际上这种情况已经不能称为梯度了!)
  • 那么梯度下降的话应该沿着切线方向
  • 可是你细看这图,这橙色的线根本就不是切线方向,你也不要说这是放大效果,细想什么是切线,怎么样都和函数是只有一个交点的。

问题就出在这:从梯度的概念来看,梯度方向就是切线的方向,这样这不就和图冲突了吗?

如果是这样想,那么恭喜你入坑了!


首先,你需要理解一个概念,那么就是斜率是没有方向的,是一个标量,而梯度它的确是一个向量,有方向,我们所画的切线,会有人告诉你从上往下画和从下往上画是不一样的吗???

是吧,斜率是标量,但它有正负,这个符号只是代表正负,这个正负怎么来的,如上图所示,它与x轴正方向呈钝角,因此是负的。

当你理解好斜率是标量之后,我们再接着看。

因此,在二维下,怎么理解梯度下降?

Google的例子就很好,

image-20230118162048447

发现没有,Google的例子和其他人不一样的是,他的箭头是与x水平的。

因此,我们怎么理解呢?

梯度是变化率最大的方向,这从三维的图像来说,你从一点做切线,它的确有不止一个交点,从这方向走到最近的一个交点,就完成了一次的梯度下降。

对于二维坐标来说,切线的交点只有一个,梯度的大小是斜率,但方向不是切线的方向了,我们移动的方向只有x轴正,x轴负,因此移动的方向就是水平的。我们做了切线,只是告诉我们,切线与移动的方向总是呈钝角,这样的角能够让我们找到最小值。带着这个想法再去理解二维下的梯度下降公式,你是不是觉得舒服许多了呢?

版权属于:染念
作品采用:本作品采用 知识共享署名-相同方式共享 4.0 国际许可协议 进行许可。
更新于: 2023年01月26日 23:35
1
发表评论

目录

来自 《你理解了梯度下降在二维直角坐标系的神奇现象吗?》

染念

Big高性能计算、small前端...
164 文章数
607 评论量
4 分类数
168 页面数
已在风雨中度过 5年357天14小时22分
© 2023 染念Blog
浙ICP备19020194号-1
© 2023 染念Blog
浙ICP备19020194号-1