目标函数的等值图与等高线图的关系

目标函数的等值图（等值线图）和等高线图是相似的概念，只是应用领域不同。等高线图用于地形图中表示高度，而等值图用于表示某个函数在不同点的取值。

等值图（等值线图）

• 定义：对于一个函数 f ( x , y ) f(x, y) f(x,y) ，等值线是由满足 f ( x , y ) = c f(x, y) = c f(x,y)=c 的点组成的曲线，其中 c c c 是常数。在等值线上的所有点，函数 f f f 的值都相同。
• 表示方法：在二维图中，等值线图使用一系列曲线来表示函数 f ( x , y ) f(x, y) f(x,y) 的不同值。例如，不同的 c c c 值对应不同的等值线。

等高线图

• 定义：等高线是指地表高度相同的点连成的曲线。
• 应用：在地形图中，等高线用于表示地形的起伏。每条等高线代表一个固定的高度，线与线之间的间隔表示高度差。

为什么等值图可以绘制成多个椭圆形或多个圆形？

许多解释随机梯度下降（SGD）的例子使用等值图，这些图通常呈现多个椭圆形或圆形。这是因为这些等值图通常来源于二次型目标函数。下面详细解释：

二次型目标函数

二次型目标函数通常具有以下形式：

f ( x , y ) = a x 2 + b x y + c y 2 + d x + e y + f f(x, y) = ax^2 + bxy + cy^2 + dx + ey + f f(x,y)=ax2+bxy+cy2+dx+ey+f

对于这样的函数，等值线由方程 a x 2 + b x y + c y 2 = k ax^2 + bxy + cy^2 = k ax2+bxy+cy2=k（其中 k k k 是常数）决定。

• 椭圆：一般情况下，二次型函数的等值线是椭圆。
• 圆形：在特定条件下（如 a = c a = c a=c 且 b = 0 b = 0 b=0），等值线是圆形。

特征值与特征向量

• 二次型函数可以用矩阵表示，例如 f ( w ) = w T A w + b T w + c f(\mathbf{w}) = \mathbf{w}^T A \mathbf{w} + \mathbf{b}^T \mathbf{w} + c f(w)=wTAw+bTw+c，其中 w \mathbf{w} w 是变量向量， A A A 是对称正定矩阵。
• 矩阵 A A A 的特征值和特征向量决定了等值线的形状。特征值的大小决定了椭圆的轴长，特征向量决定了椭圆的方向。

线性回归和分类回归中的目标函数

对于线性回归和一些常见的分类方法，目标函数通常是二次型的。

线性回归

线性回归的目标是最小化预测值和真实值之间的差异，通常使用均方误差（MSE）作为目标函数：

J ( w ) = 1 2 m ∑ i = 1 m ( h w ( x ( i ) ) − y ( i ) ) 2 J(\mathbf{w}) = \frac{1}{2m} \sum_{i=1}^{m} (h_{\mathbf{w}}(x^{(i)}) - y^{(i)})^2 J(w)=2m1​∑i=1m​(hw​(x(i))−y(i))2

其中， h w ( x ) = w T x + b h_{\mathbf{w}}(x) = \mathbf{w}^T \mathbf{x} + b hw​(x)=wTx+b 是线性模型的预测值。这个目标函数展开后是参数 w \mathbf{w} w 的二次函数。

逻辑回归

逻辑回归通过最小化负对数似然损失函数来最大化似然函数：

J ( w ) = − 1 m ∑ i = 1 m [ y ( i ) log ⁡ ( h w ( x ( i ) ) ) + ( 1 − y ( i ) ) log ⁡ ( 1 − h w ( x ( i ) ) ) ] J(\mathbf{w}) = - \frac{1}{m} \sum_{i=1}^{m} [y^{(i)} \log(h_{\mathbf{w}}(x^{(i)})) + (1 - y^{(i)}) \log(1 - h_{\mathbf{w}}(x^{(i)}))] J(w)=−m1​∑i=1m​[y(i)log(hw​(x(i)))+(1−y(i))log(1−hw​(x(i)))]

其中， h w ( x ) = 1 1 + e − w T x h_{\mathbf{w}}(x) = \frac{1}{1 + e^{-\mathbf{w}^T \mathbf{x}}} hw​(x)=1+e−wTx1​ 是逻辑回归模型的预测概率。

虽然这个目标函数不是二次的，但在优化过程中可以进行二次近似。

梯度与等值线的关系

梯度的定义

梯度是一个向量，表示目标函数在某一点的变化率和方向。对于一个二元函数 f ( x , y ) f(x, y) f(x,y)，梯度用符号 ∇ f \nabla f ∇f 表示，其分量是 ( ∂ f ∂ x , ∂ f ∂ y ) \left( \frac{\partial f}{\partial x}, \frac{\partial f}{\partial y} \right) (∂x∂f​,∂y∂f​)。

梯度与等值线的几何关系

• 梯度向量垂直于等值线，因为等值线上的点的函数值相同，梯度表示函数值增加最快的方向，自然垂直于等值线。
• 例如，等值线是地形图上的等高线，而梯度是从某点沿着坡度最大的方向向上的向量。

梯度下降法

梯度下降的步骤

梯度下降法通过迭代的方法来最小化目标函数。每一步迭代沿着负梯度的方向移动：

w new = w old − η ∇ f ( w old ) \mathbf{w}_{\text{new}} = \mathbf{w}_{\text{old}} - \eta \nabla f(\mathbf{w}_{\text{old}}) wnew​=wold​−η∇f(wold​)

其中， w \mathbf{w} w 是参数向量， η \eta η 是学习率， ∇ f \nabla f ∇f 是梯度。

沿法线方向移动

在等值图上，梯度下降法每一步都沿着等值线的法线方向（负梯度方向）移动。这确保每一步都朝着降低目标函数值的方向前进，从而逐步逼近目标函数的最小值。

随机梯度下降法在二次型目标函数中的路径

极小值点

• 极小值点是目标函数的值最小的点。对于二次型目标函数，这个点通常是唯一的，并且在解析几何上可以通过设置梯度为零来找到。
• 对于 f ( w ) f(\mathbf{w}) f(w)，极小值点 w ∗ \mathbf{w}^* w∗ 满足 ∇ f ( w ∗ ) = 0 \nabla f(\mathbf{w}^*) = 0 ∇f(w∗)=0，解这个方程可以得到 w ∗ \mathbf{w}^* w∗。

路径收敛

• 在二次型目标函数中，随机梯度下降法（SGD）的路径呈现出向椭圆或圆的中心（极小值点）收敛的趋势。
• 由于等值线是椭圆或圆，路径看起来逐步进入这些椭圆或圆的中心，即极小值点。

例子

假设目标函数为 f ( x , y ) = 3 x 2 + 2 x y + y 2 f(x, y) = 3x^2 + 2xy + y^2 f(x,y)=3x2+2xy+y2，其等值线为椭圆。随机梯度下降法会：

1. 初始化点在等值图上的某个位置。
2. 计算梯度并沿负梯度方向更新。
3. 新点沿着等值线的法线方向移动，逐步接近椭圆的中心。
4. 重复上述步骤，直到到达极小值点（椭圆的中心）。

总结

• 等值图与等高线图的关系：等值图用于表示目标函数在不同点的取值，类似于等高线图表示高度。
• 等值图的形状：二次型目标函数的等值线是椭圆或圆，这是因为它们的解析形式。
• 梯度与等值线的关系：梯度垂直于等值线，梯度下降法每一步沿负梯度方向移动，使得路径逐步逼近目标函数的最小值。
• 二次型目标函数的优化：在二次型目标函数中，SGD的路径向椭圆或圆的中心（极小值点）收敛，帮助我们理解优化过程。