解方程組的意義和過程 - Strang MIT 18.06 線性代數(shù)精髓 2

在本系列中，我們用彩色 Latex?筆記記錄下?MIT 18.06 Gilbert Strang 教授經(jīng)典的線性代數(shù)課程的精髓，部分內(nèi)容也會以動畫和代碼的形式。后續(xù)會覆蓋更多人工智能所涉及的數(shù)學(xué)基礎(chǔ)課程：統(tǒng)計(jì)，優(yōu)化等，歡迎大家關(guān)注和反饋。

本文總結(jié)了方程組的行視角，列視角的幾何意義；并回顧了解方程的兩個(gè)步驟：消元和回代。內(nèi)容對應(yīng)于MIT 18.06 Gilbert Strang 線性代數(shù)視頻課程第一，二節(jié)。

本系列鏈接如下
01 矩陣乘法的五種理解

方程組兩種幾何解釋

二元方程組

來看一個(gè)具體的二元線性方程組

寫成矩陣形式

行視角

回顧 為所有滿足此條件的 (x, y) 的集合，即集合組成二維平面的一條直線，如下圖藍(lán)線所示。

則對應(yīng)綠線。

因此方程組的解 x = 1, y = 2 為兩條直線的交點(diǎn)，這就是方程組的行視角：將系數(shù)矩陣按行切分，則每一行表示一個(gè)約束條件，幾何意義是N維空間的一個(gè)子空間。在二元方程中，一行表示一條線，三元方程中，一行表示一個(gè)平面（詳見后一小節(jié)）。

列視角

若將系數(shù)矩陣按列切分，則每一列表示一個(gè)向量，方程組的解 (x, y) 表示每個(gè)列向量以 x, y 為權(quán)重的線性組合剛好形成 b 向量。這個(gè)就是方程組 有解的條件：b 在 A 的列空間，此時(shí)，x 為 列向量的組合系數(shù)。

三元方程組

行視角

對于三元方程組行視角來說，每一行的方程組成一個(gè)三維空間中的一個(gè)平面。解是三個(gè)平面的交點(diǎn)，通常來說為一個(gè)點(diǎn)。

圖片來自 Introduction to Linear Algebra for Applied Machine Learning with Python (https://pabloinsente.github.io/intro-linear-algebra)，解為一直線而非一個(gè)點(diǎn)。

列視角

三元列視角下，A 的列向量為三維平面的一個(gè)向量，x（下圖為 w） 表示每個(gè)列向量取多少倍數(shù)可以組成 b 向量。

回代過程

回代過程比較直白，由上矩陣 U 對應(yīng)方程組

自下向上，容易解得

消元的行視角意義

注意到消元時(shí)的兩類操作都不改變系數(shù)矩陣的行空間，只是改變了行空間的線性組合方式。

由于每一行代表一個(gè)拘束子空間，因此每一次消元改變了該行的拘束子空間。

舉個(gè)例子，對于二元方程組和行空間

對應(yīng)了兩條直線

第二行的 x 消除后其幾何意義為：藍(lán)色直線不變，綠色直線從包含 x 的成分變成不含 x 成分，并且維持交點(diǎn) （1, 2）不變。

最后大家可以思考一下一個(gè)問題：消元對于列視角的幾何意義是什么呢？