首先，我們回顧一下矩陣奇異值分解的基本性質(zhì)。

令具有奇異值分解。則該分解具有下列性質(zhì)，

1、如果，即矩陣的秩為，那么的非零奇異值的數(shù)量等于。
2、將兩個正交矩陣分別看成按左、右奇異向量按列排列，即

\mathbf{U}=\left[\begin{array}{ccc}\mid & & \mid \\ \mathbf{u}_{1} & \cdots & \mathbf{u}_{m} \\ \mid & & \mid\end{array}\right],

以及

\mathbf{V}=\left[\begin{array}{ccc}\mid & & \mid \\ \mathbf{v}_{1} & \cdots & \mathbf{v}_{n} \\ \mid & & \mid\end{array}\right].

則有如下外積展開式，

\mathbf{A}=\sum_{i=1}^{r} \sigma_{i} \mathbf{u}_{i} \mathbf{v}_{i}^{\top}.

開頭的圖片是針對更一般的張量分解的圖示，自然也包括了矩陣分解，不過只需要兩根桿子。

1矩陣范數(shù)

度量、范數(shù)和內(nèi)積原來是這么個關(guān)系

在上面這篇里，我們介紹了向量的范數(shù)，那么矩陣的范數(shù)又是怎么樣的呢？

.定義

考慮實數(shù)域上的矩陣，范數(shù)是滿足以下性質(zhì)的從實矩陣到的一個函數(shù) ，

，以及
對于任意數(shù) ，有
對于可相乘矩陣，有

.矩陣 F-范數(shù)

矩陣的 Frobenius 范數(shù)定義為，

\begin{array}{lll} \|\mathbf{A}\|_{F}^{2}&=\sum_{i, j}\left|a_{i j}\right|^{2}\\[0.618em]&=\sum_{i}\left\|\mathbf{A}_{i \star}\right\|_{2}^{2}\\[0.618em]&=\sum_{j}\left\|\mathbf{A}_{\star j}\right\|_{2}^{2}\\[0.618em]&=\operatorname{tr}\left(\mathbf{A}^{\top} \mathbf{A}\right) \end{array}

我們知道，矩陣具有專門的乘法，從而將它與一般的向量空間區(qū)分開。但是向量范數(shù)的三個性質(zhì)與向量乘積并沒有關(guān)系。

因此，對于矩陣來說，貌似需要一個額外的性質(zhì)，能夠?qū)? 與和相關(guān)聯(lián)起來。

而 F-范數(shù)剛好具有此額外性質(zhì)，即

\begin{array}{lll} \|\mathbf{A} \mathbf{x}\|_{2}^{2}\!\!\!&=\sum_{i}\left|\mathbf{A}_{i \star} \mathbf{x}\right|^{2} \leq \sum_{i}\left\|\mathbf{A}_{i \star}\right\|_{2}^{2}\|\mathbf{x}\|_{2}^{2}\\[0.618em]&=\|\mathbf{A}\|_{F}^{2}\|\mathbf{x}\|_{2}^{2}. \end{array}

因此有，

\|\mathbf{A} \mathbf{x}\|_{2} \leq\|\mathbf{A}\|_{F}\|\mathbf{x}\|_{2} \qquad (\star)

可以說 Frobenius 矩陣范數(shù) 和歐氏向量范數(shù) 之間是相容的來表達(dá)這一點。

相容性條件表示對于所有可相乘的矩陣和，有

\begin{array}{lll} \|\mathbf{A} \mathbf{B}\|_{F}^{2} \!\!\!&=\sum_{j}\left\|[\mathbf{A} \mathbf{B}]_{\star j}\right\|_{2}^{2}\\[0.618em]&=\sum_{j}\left\|\mathbf{A} \mathbf{B}_{\star j}\right\|_{2}^{2} \leq \sum_{j}\|\mathbf{A}\|_{F}^{2}\left\|\mathbf{B}_{\star j}\right\|_{2}^{2} \\[0.618em] &=\|\mathbf{A}\|_{F}^{2} \sum_{j}\left\|\mathbf{B}_{\star j}\right\|_{2}^{2}\\[0.618em]&=\|\mathbf{A}\|_{F}^{2}\|\mathbf{B}\|_{F}^{2}, \end{array}

簡寫為，

\|\mathbf{A} \mathbf{B}\|_{F} \leq\|\mathbf{A}\|_{F}\|\mathbf{B}\|_{F}.

因此可將乘積性質(zhì) 添加到三條屬性中以定義一般的矩陣范數(shù)。

除了 Frobenius 范數(shù)滿足前面矩陣范數(shù)的定義外，但是其他有用的矩陣范數(shù)又是從何而來呢？

實際上，如下所述，每個合法的向量范數(shù)都會生成（或誘導(dǎo)出）一個矩陣范數(shù)。

.誘導(dǎo)矩陣范數(shù)

在上為定義的向量范數(shù)可誘導(dǎo)一個上的矩陣范數(shù)。對于一個矩陣，以及向量，有

\|\mathbf{A}\|=\max _{\|\mathbf{x}\|=1}\|\mathbf{A} \mathbf{x}\| \qquad (a)

連續(xù)函數(shù)在有界閉區(qū)域上必有最小、最大值。

很明顯，在某種意義上，誘導(dǎo)矩陣范數(shù)與其基礎(chǔ)向量范數(shù)相容，即

\|\mathbf{A x}\| \leq\|\mathbf{A}\|\|\mathbf{x}\| \qquad (b)

當(dāng) 非奇異時，

\min _{\|\mathbf{x}\|=1}\|\mathbf{A} \mathbf{x}\|=\frac{1}{\left\|\mathbf{A}^{-1}\right\|} \qquad (c)

證明

容易驗證滿足前三個條件。而則意味著。

換句話說，誘導(dǎo)范數(shù) 表示可以將單位球面上的向量拉伸的最大程度，而表示非奇異矩陣可以將單位球面上的向量收縮的最大程度。

下圖描述了在中的誘導(dǎo)矩陣 2-范數(shù)的情況。

2奇異值與矩陣范數(shù)

下面，我們從奇異值角度審視一下矩陣的幾個常用范數(shù)。

我們再次來看一下矩陣的秩 1 展開式，

\begin{array}{lll} \mathbf{A}\!\!\!&=\mathbf{U\Sigma V}^{\top}\\[0.618em]&=\color{red}{\sigma_{1}} \color{#001155}{\mathbf{u}_{1} \mathbf{v}_{1}^{\top}}+\color{red}{\sigma_{2}} \color{#001155}{\mathbf{u}_{2} \mathbf{v}_{2}^{\top}}+\cdots+\color{red}{\sigma_{r}} \color{#001155}{\mathbf{u}_{r} \mathbf{v}_{r}^{\top}}. \end{array}

注意看，上面將矩陣分解成了個秩 1 矩陣之和。這些矩陣都是兩個單位向量的外積形式，本身元素的大小都有限，每個矩陣對的貢獻(xiàn)主要得看前面的系數(shù)，即奇異值。

由上面誘導(dǎo)矩陣范數(shù)的定義可知，范數(shù)在一定意義上是考量一個矩陣對單位向量的縮放能力。我們將展開式代入矩陣向量乘積，

\begin{array}{lll} \mathbf{A}\color{green}{\mathbf{x}}\!\!\!&=\mathbf{U\Sigma V}^{\top}\color{green}{\mathbf{x}}\\[0.618em]&=\color{red}{\sigma_{1}} \color{#001155}{\mathbf{u}_{1} \mathbf{v}_{1}^{\top}}\color{green}{\mathbf{x}}+\color{red}{\sigma_{2}} \color{#001155}{\mathbf{u}_{2} \mathbf{v}_{2}^{\top}}\color{green}{\mathbf{x}}+\cdots+\color{red}{\sigma_{r}} \color{#001155}{\mathbf{u}_{r} \mathbf{v}_{r}^{\top}}\color{green}{\mathbf{x}}\\[0.618em]&=\color{red}{(\sigma_{1}\mathbf{v}_{1}^{\top}\mathbf{x})} \color{#001155}{\mathbf{u}_{1}}+\color{red}{(\sigma_{2}\mathbf{v}_{2}^{\top}\mathbf{x})} \color{#001155}{\mathbf{u}_{2}}+\cdots+\color{red}{(\sigma_{r}\mathbf{v}_{r}^{\top}\mathbf{x})} \color{#001155}{\mathbf{u}_{r}}. \end{array}

矩陣對單位向量的變換可以按奇異值和相應(yīng)的奇異向量分解開，而縮放能力主要反映在奇異值上。

那么，我們能不能直接從奇異值來考量或定義矩陣范數(shù)呢？

.Schatten p-范數(shù)

由矩陣的奇異值構(gòu)成的向量

\left[\sigma_1, \sigma_2, \ldots, \sigma_r \right]

定義如下范數(shù)，

\|\mathbf{A}\|_{p}=\left(\sum_{i=1}^{r} \sigma_{i}^{p}\right)^{\frac{1}{p}}.

巧的是，這樣用向量范數(shù)直接從奇異值定義的矩陣范數(shù)與常規(guī)方式定義的矩陣范數(shù)之間真的有等價關(guān)系。不信請看:

1、矩陣的 Schatten -范數(shù)等于矩陣的 F 范數(shù)，即

\|\mathbf{A}\|_{\rm {F}}^2= \sum _{i=1}^{m}\sum _{j=1}^{n}|a_{ij}|^{2}=\operatorname {tr} (\mathbf{A}^{\top}\mathbf{A})=\sum _{i=1}^{r}\sigma _{i}^{2}.

其中，

\begin{array}{lll} \operatorname {tr} (\mathbf{A}^{\top}\mathbf{A})&=\operatorname {tr} (\mathbf{V\Sigma U}^{\top}\mathbf{U\Sigma V}^{\top})\\[0.618em]&=\operatorname {tr} (\mathbf{V}^{\top}\mathbf{\Sigma}^2\mathbf{V})\\[0.618em]&=\sum _{i=1}^{r}\sigma _{i}^{2}. \end{array}

2、矩陣的 Schatten -范數(shù)等于矩陣的 -范數(shù)，即

\begin{array}{ccc} \mathbf{A}=\mathbf{U \Sigma V}^{\top} \Rightarrow \mathbf{A}^{\top} \mathbf{A}=\mathbf{V \Sigma}^{2} \mathbf{V}^{\top}\\[0.618em] \Downarrow\\[0.618em] \begin{array}{ccc} \rho\left(\mathbf{A}^{\top} \mathbf{A}\right)=\rho\left(\mathbf{V \Sigma}^{2} \mathbf{V}^{\top}\right)=\max _{i}\left|\sigma_{i}\right|^{2} \\[0.618em] \Downarrow\\[0.618em] \|\mathbf{A}\|_{2}=\max _{\|\mathbf{x}\|_{2}=1}\|\mathbf{A} \mathbf{x}\|_{2}=\sqrt{\rho\left(\mathbf{A}^{\top} \mathbf{A}\right)} \end{array} \end{array}

3、矩陣的 Schatten -范數(shù)

定義如下，

\|\mathbf{A}\|_{*}=\operatorname{tr}\left(\sqrt{\mathbf{A}^{\top} \mathbf{A}}\right)=\sum_{i=1}^{r} \sigma_{i}

也稱為矩陣的跡范數(shù)（trace norm 或 nuclear norm）。這個范數(shù)貌似沒有對應(yīng)普通的誘導(dǎo)范數(shù)，但在實際應(yīng)用中卻很受青睞。

下面我們來對上面的定義簡單地解讀一番。

由可得，。

令，則有

\mathbf{BB} = \mathbf{V \Sigma V}^{\top} \mathbf{V \Sigma V}^{\top} = \mathbf{V {\Sigma}^{2}V}^{\top} = \mathbf{A}^{\top} \mathbf{A}

因此，

\text{tr}(\mathbf{B}) = \text{tr}(\mathbf{V \Sigma V}^{\top}) = \text{tr}(\mathbf{\Sigma})=\sum_{i=1}^{r} \sigma_{i}.

.程序小實驗

import?numpy?as?np
from?scipy.linalg?import?sqrtm

A?=?np.array([[1,2,3],[1,1,1],[0,1,-1]])
A

array([[ 1,  2,  3],
       [ 1,  1,  1],
       [ 0,  1, -1]])

U,?S,?V?=?np.linalg.svd(A)

AtA?=?A.T@A
AtA

array([[ 2,  3,  4],
       [ 3,  6,  6],
       [ 4,  6, 11]])

m?=?np.diag(S)@V
m

array([[-1.31467133, -2.16665828, -3.20525993],
       [ 0.19957118,  1.13213211, -0.84714312],
       [ 0.48146718, -0.15449536, -0.0930447 ]])

[email protected](S)@V
root_VSVT

array([[0.90174674, 0.71064345, 0.82573525],
       [0.71064345, 2.09285003, 1.05591886],
       [0.82573525, 1.05591886, 3.03367709]])

S.sum()

6.028273858670582

root?=?sqrtm(AtA)
root

array([[0.90174674, 0.71064345, 0.82573525],
       [0.71064345, 2.09285003, 1.05591886],
       [0.82573525, 1.05591886, 3.03367709]])

root@root

array([[ 2.,  3.,  4.],
       [ 3.,  6.,  6.],
       [ 4.,  6., 11.]])

np.trace(root)

6.028273858670583

3小結(jié)

將分解，

\begin{array}{lll} \mathbf{A}\color{green}{\mathbf{x}}\!\!\!&=\mathbf{U\Sigma V}^{\top}\color{green}{\mathbf{x}}\\[0.618em]&=\color{red}{\sigma_{1}} \color{#001155}{\mathbf{u}_{1} \mathbf{v}_{1}^{\top}}\color{green}{\mathbf{x}}+\color{red}{\sigma_{2}} \color{#001155}{\mathbf{u}_{2} \mathbf{v}_{2}^{\top}}\color{green}{\mathbf{x}}+\cdots+\color{red}{\sigma_{r}} \color{#001155}{\mathbf{u}_{r} \mathbf{v}_{r}^{\top}}\color{green}{\mathbf{x}}\\[0.618em]&=\color{red}{(\sigma_{1}\mathbf{v}_{1}^{\top}\mathbf{x})} \color{#001155}{\mathbf{u}_{1}}+\color{red}{(\sigma_{2}\mathbf{v}_{2}^{\top}\mathbf{x})} \color{#001155}{\mathbf{u}_{2}}+\cdots+\color{red}{(\sigma_{r}\mathbf{v}_{r}^{\top}\mathbf{x})} \color{#001155}{\mathbf{u}_{r}}. \end{array}

矩陣對單位向量的變換可以按奇異值和相應(yīng)的奇異向量分解開，而縮放能力主要反映在奇異值上。

因此，我們可以從奇異值的大小（甚至數(shù)量）來定義矩陣范數(shù)。可見，奇異值的確很厲害吧。

相關(guān)閱讀

矩陣和線性代數(shù)原來是這么來的

矩陣特征值的故事 - 緣起琴弦

二次型和矩陣合同原來是這么一回事

矩陣特征值是這么來的，以及有趣的蓋爾圓

萬能的 SVD 分解是哪位牛人提出來的？

度量、范數(shù)和內(nèi)積原來是這么個關(guān)系

線性映射: 從凱萊引入矩陣乘法說起

矩陣之芯 SVD: 奇異值分解及其幾何解釋

矩陣之芯 SVD: 基本應(yīng)用以及與其他分解的關(guān)系

矩陣之芯 SVD:?從奇異值分解看四個基本子空間

矩陣之芯 SVD:?從奇異值分解 SVD 看 PCA?

矩陣之芯 SVD - 從奇異值角度看矩陣范數(shù)