【线性代数】有定矩阵

ducati · 2024-04-12 14:06:29 · 科技·工程

Prerequisites

谱定理(Spectral Theorem)
特征根及特征向量(Eigenvalues and Eigenvectors)

Temporal Definition

考虑如下定义：

在实数域上，\forall A \in \mathbb{R}^{n \times n}，A 为正定矩阵 \iff \forall x \in \mathbb{R}^n \backslash \{0\} 有二次型 x^T Ax 为正实数，记作 A \succ 0；A 为半正定矩阵 \iff \forall x \in \mathbb{R}^n 有二次型 x^T Ax 为非负实数，记作 A \succeq 0。
在复数域上，\forall A \in \mathbb{C}^{n \times n}，A 为正定矩阵 \iff \forall x \in \mathbb{C}^n \backslash \{0\} 有二次型 x^H Ax 为正实数，记作 A \succ 0；A 为半正定矩阵 \iff \forall x \in \mathbb{C}^n 有二次型 x^H Ax 为非负实数，记作 A \succeq 0。
同理可定义实数域和复数域上的负定矩阵及半负定矩阵，分别记作 A \prec 0, A \preceq 0。特别的，若 A 为半正定矩阵或半负定矩阵，则称 A 为有定矩阵，否则 A 为无定矩阵。

Lemma 1：二次型 x^HAx 恒为实数 \iff A 是厄米特矩阵。

Proof：

必要性：若 A \neq A^H，容易构造 x 使得 x^HAx \notin \mathbb{R}。
充分性：若 A = A^H，则 x^HAx = x^HA^Hx = (x^HAx)^H，即 x^HAx \in \mathbb{R}。

Lemma 2：实数域上的正定矩阵 A 在复数域下正定 \iff A = A^T。

Proof:

必要性：若 A \neq A^T，由 Lemma 1，x^HAx 不恒为实数，A 在复数域下无定。
充分性：若 A = A^T，令 x 的实部、虚部分别为 x_R, x_I，则 x^HAx = x_R^HAx_R + (x_I^HAx_I)i > 0

上述定义含有歧义：实数域和虚数域上正定矩阵定义并不统一。为此，我们将修改以上定义。

Definition

Definition 1：

在实数域上，\forall A \in \mathbb{R}^{n \times n}，A 为正定矩阵 \iff \forall x \in \mathbb{R}^n \backslash \{0\} 有二次型 x^T Ax 为正实数且 \boldsymbol{A = A^T}，记作 A \succ 0；A 为半正定矩阵 \iff \forall x \in \mathbb{R}^n 有二次型 x^T Ax 为非负实数且 \boldsymbol{A = A^T}。
复数域上的定义不变。
同理可定义负定矩阵、半负定矩阵、有定矩阵及无定矩阵。

不难看出，A \succ 0 \iff -A \prec 0，A \succeq 0 \iff -A \preceq 0。本文仅在实数域上讨论正定矩阵（Positive Definite Matrices）和半正定矩阵（Positive Semi-Definite Matrices）。

Positive Definite Matrices

Equivalent Definitions

对于实正定矩阵 A，令 \sigma(A) 为 A 所有特征值组成的集合。

Lemma 3：A \succ 0 \iff A = A^T, \forall \lambda \in \sigma(A) \ \text{s.t.} \ \lambda > 0，即 A 的正惯性指数为 n。

Proof：

必要性：若 \lambda \le 0 且 \lambda \in \sigma(A)，令 Ax = \lambda x，则 x^TAx = x^T(\lambda x) = \lambda||x||^2 \le 0，与 A \succ 0 矛盾。
充分性：由 Spectral Theorem 有 A = Q\Lambda Q^T，即 x^TAx = (x^TQ)\Lambda(Q^Tx) = \sum_i \Lambda_{ii}(Q^Tx)_i^2 > 0。

Lemma 4：对于正定矩阵 A，\frac {x^TAx} {||x||^2} 的下确界为 A 的最小特征值。

Proof：

由 Spectral Thereom，存在 \mathbb{R}^n 的标准正交基底 \{v_1, v_2, \cdots, v_n\}，其中所有 v_i 均为 A 的特征向量，\lambda_i 为 v_i 对应的特征值。令 x = \sum_{i=1}^n c_iv_i，则 \begin{aligned} \frac {x^TAx} {||x||^2} &= \frac {1} {||x||^2} \sum_{i=1}^n \sum_{j=1}^n (c_ic_j)v_i^TAv_j \\ &= \frac {1} {||x||^2} \sum_{i=1}^n \sum_{j=1}^n (c_ic_j\lambda_j)v_i^Tv_j \\ &= \frac {1} {||x||^2} \sum_{i=1}^n \lambda_i c_i^2 ||v_i||^2 \\ &= \sum_{i=1}^n \lambda_i \frac {||c_iv_i||^2} {||x||^2} \end{aligned}
注意到 \sum_{i=1}^n \frac {||c_iv_i||^2} {||x||^2} = 1，因此 \frac {x^TAx} {||x||^2} \ge \min_{\lambda \in \sigma(A)}\{\lambda\}。而当 Ax = \min_{\lambda \in \sigma(A)}\{\lambda\}x 时恰好取到该下界，因此下确界即为最小特征值。

不难看出：当 A \succ 0 时，二次型 x^TAx 等于 x 在每个基向量 \boldsymbol{v_i} 上的投影长度按 \boldsymbol{\lambda_i} 带权求和的结果。

Lemma 5：A \succ 0 \iff A = A^T, \frac {x^TAx} {||x||^2} 的下确界为正。

Lemma 6：A \succ 0 \iff A = A^T, A 的所有顺序主子式均为正。

Proof：

必要性：显然。
充分性：枚举 i = 1, 2, \cdots, n，将 A\begin{bmatrix} 1 &2 &\cdots &i \\ 1 &2 &\cdots &i \end{bmatrix} 消为对角形，数学归纳易证最终主对角线上元素均为正。由 Lemma 3 充分性得证。

Lemma 7：A \succ 0 \iff A = A^T, A 的所有主子式均为正。

Lemma 8：A \succ 0 \iff A \cong I

Proof:

必要性：由 Spectral Theorem, A = Q\Lambda Q^T。令 \Lambda' 为 \Lambda 主对角线上元素全部开平方的结果，则 A = (Q\Lambda)(\Lambda Q^T) = (Q\Lambda)(Q \Lambda)^T，即 A \cong I。
充分性：令 A = B^TB，则 x^TAx = x^TB^TBx = (Bx)^T(Bx) = ||Bx||^2。由于 B 非奇异，x 非零向量，因此 ||Bx|| > 0，即 x^TAx > 0。另一方面，显然有 A = A^T，因此 A \succ 0。

总而言之，我们可以通过二次型、特征根、主子式、合同与正定矩阵建立联系。

Properties

Lemma 9：A \succ 0 \implies A^{-1} \succ 0, \forall k \in \mathbb{N}^{+} \ \text{s.t.} \ A^k \succ 0, \forall k > 0 \ \ \text{s.t.} \ kA \succ 0，且 A, B \succ 0 \implies A + B \succ 0

Lemma 10：对于任意 n 阶正定矩阵 A，存在唯一 n 阶正定矩阵 B 满足 B^2 = A。

Lemma 11：A \succ 0 \implies \det(A) \le \prod_{i} a_{ii}

Lemma 12：A \succ 0, B \succ 0 \implies \min_{\lambda \in \sigma(AB)}\{\lambda\} > 0

Proof：注意到 AB = AB^{\frac 1 2}B^{\frac 1 2}，相似于 B^{\frac 1 2}AB^{\frac 1 2}，注意到 B^{\frac 1 2} 对称且可逆，从而 B^{\frac 1 2}AB^{\frac 1 2} 正定，即特征值均为正，因此 AB 特征值也均为正。

Positive Semi-Definite Matrices

咕咕咕