函数极值点：从一元到多元
ducati
·
·
个人记录
前言
- 本文所有函数均为实函数。
- 涉及到的芝士：
极值点
极小值点：对于函数 f，若 P_0 存在邻域 U(P_0, \delta) 满足 \forall P \in U(P_0, \delta)，f(P) 有定义且 \boldsymbol{f(P) \ge f(P_0)}，则称 P_0 是 f 的极小值点。
极大值点：对于函数 f，若 P_0 存在邻域 U(P_0, \delta) 满足 \forall P \in U(P_0, \delta)，f(P) 有定义且 \boldsymbol{f(P) \le f(P_0)}，则称 P_0 是 f 的极大值点。
极值点：极小值点与极大值点的统称。
驻点：
- 一元函数：导数 = 0 的点。
- 多元函数：所有一阶偏导均为 \boldsymbol{0} 的点。
一元函数极值
命题：对于一元函数 f，x_0 是 f 的极值点。
引理一：若 x_0 满足命题，且 x_0 处可导，则 f'(x_0) = 0。
证明：考虑反证，假设 f'(x_0) \neq 0。
- 若 f'(x_0) > 0，根据导数定义、极限的 \epsilon - N 语言，无论 U(x_0, \delta) 的半径 \delta 多小，总存在 x_l \in U^{-}(x_0, \delta) 满足 f(x_l) < f(x_0)，总存在 x_r \in U^{+}(x_0, \delta) 满足 f(x_r) > f(x_0)，与命题矛盾。
- 若 f'(x_0) < 0，仍与命题矛盾。
引理二：对于驻点 x_0，若 f''(x_0) > 0，则 x_0 是极小值点。
证明：
- 由 f''(x_0) > 0，存在 U(x_0, \delta) 满足 \forall x_l \in U^{-}(x_0, \delta) 有 f'(x_l) < 0；根据拉格朗日中值定理，\frac {f(x_0) - f(x_l)} {x_0 - x_l} < 0，即 f(x_l) > f(x_0)。同时，\forall x_r \in U^{+}(x_0, \delta) 有 f'(x_r) > 0，易得 f(x_r) > f(x_0)。
定理一：对于驻点 x_0，若 f''(x_0) > 0 则 x_0 是极小值点，若 f''(x_0) < 0 则 x_0 是极大值点。
总之，根据驻点处二阶导的正负性，可推出其是极大值点还是极小值点。
那如果 f''(x_0) 也为 0 呢？典型的例子是 f(x) = x^4, f(x) = -x^4 和 f(x) = x^3，x_0 = 0 都是它们的驻点且二阶导均为 0，但 x_0 分别是极小值点，极大值点和非极值点。此时，需要考察更高阶的导数，具体不再赘述。
多元函数极值
定义 n 元函数 g，满足其在 P = (x_1, x_2, \cdots, x_n) 处有定义。
定理二：若 P 是 g 的极值点，则 \forall x_i，若 \frac {\partial g} {\partial x_i} |_P 存在则 \frac {\partial g} {\partial x_i} |_P = 0。
为方便叙述，下面我们将省略 | P，默认是在 P 处求偏导。
其实是写完之后发现忘记加子，懒得一个一个改子
定义 n 元函数 f，满足 \forall x_i, x_j 有 \frac {\partial^2 f} {\partial x_i \partial x_j} 在 P = (x_1, x_2, \cdots, x_n) 处连续。
显然 f 在 P 处可微。形式化地，存在 P 的领域 U(P_0)，满足 \forall P' = (x'_1, x'_2, \cdots, x'_n) \in U(P_0) 有
f(x'_1, x'_2, \cdots, x'_n) = f(x_1, x_2, \cdots, x_n) + \sum_{i = 1}^n \frac {\partial f} {\partial x_i} \Delta x_i + o(\rho)
其中 \Delta x_i = x'_i - x_i，\rho 为 P, P' 的欧氏距离。
由于所有二阶偏导连续，从而所有一阶偏导都连续。任取方向向量 \boldsymbol{v} = (v_1, v_2, \cdots, v_n)，考察 f 在 \boldsymbol{v} 上的一阶偏导，有
\frac {\partial f} {\partial v} = \sum_{i = 1} ^ n \frac {v_i} {|\boldsymbol{v}|} \frac {\partial f} {\partial x_i} = 0
再考察二阶偏导
\frac {\partial^2 f} {\partial v^2} = \sum_{i = 1} ^ n \sum_{j = 1} ^n \frac {v_iv_j} {|\boldsymbol{v}| ^ 2} \frac {\partial^2 f} {\partial x_i \partial x_j}
由于偏导连续，混合偏导相等，可定义二次型矩阵
H = \begin{bmatrix} \frac {\partial^2 f} {\partial x_1^2} & \frac {\partial^2 f} {\partial x_1 \partial x_2} &\cdots &\frac {\partial^2 f} {\partial x_1 \partial x_n} \\ \frac {\partial^2 f} {\partial x_2x_1} & \frac {\partial^2 f} {\partial x_2^2} &\cdots &\frac {\partial^2 f} {\partial x_2 x_n} \\ \vdots &\vdots &\ddots &\vdots \\ \frac {\partial^2 f} {\partial x_n \partial x_1} &\frac {\partial^2 f} {\partial x_n \partial x_2} &\cdots &\frac {\partial^2 f} {\partial x_n^2} \end{bmatrix}
则
\frac {\partial^2 f} {\partial v^2} = \frac {1} {|\boldsymbol{v}| ^ 2} \left(\boldsymbol{v} H \boldsymbol{v}^T\right)
我们只关心 vHv^T 的正负性，因此：
定理三：令 H 为多元函数在 P 处的 Hessian 矩阵，则
- 若 H 是有定矩阵：
- 若 H 是正定矩阵，则 \frac {\partial^2 f} {\partial v^2} > 0，即 P 是极小值点。
- 若 H 是负定矩阵，则 P 是极大值点。
- 否则无法确定。
- 若 H 是不定矩阵，则 P 是非极值点。
根据定理三，足以导出课本上二元函数极值点的判断准则。
定理四：设 z = f(x, y) 在驻点 (x_0, y_0) 处有连续的二阶偏导，令 A = f'_{xx}(x_0, y_0)，B = f'_{xy}(x_0, y_0)，C = f'_{yy}(x_0, y_0)，那么：
- 若 B^2 - AC < 0 且 A < 0，则为极大值点。
- 若 B^2 - AC < 0 且 A > 0，则为极小值点。
- 若 B^2 - AC > 0，不是极值点。
- 否则无法判断。
证明：显然 H = \begin{bmatrix} A &B \\ B &C \end{bmatrix}，其两个顺序主子式为 A,\ AC - B^2。
- 若 B^2 - AC < 0 且 A > 0，H 是正定矩阵。
- 若 B^2 - AC < 0 且 A < 0，H 是负定矩阵。
- 若 B^2 - AC > 0，H 是不定的。
对于任意多元函数，根据定理二，可先找到所有驻点，随后逐一检查 Hessian 矩阵的有定性。
至此，我们基本解决了多元函数极值点问题。