線性相關和秩的物理意義

什么是線性相關? 這兩個矢量(計算機里面用數組表示)v1和v2，如果v2可以從v1的某種乘除運算(幅度拉伸，方向轉換)，得到v2+K*v1=0，那么我們認為v2和 v1線性相關。例如，兩個直線方程，x+2y=0和2x+4y=0，他們的系數向量是(1,2)和(2,4)，顯然，他們是同一條直線。也就是說 (1,2)和(2,4)是線性相關的。同理，對于3維的情況，x=0,y=0,x=y這3個平面相交于Z軸，我們稱這3個平面關于Z軸線性相關，3個平面 方程的系數向量之間可以從其中的任意兩個得到另外一個(1,0,0)+(0,1,0)=(1,1,0)。

說的抽象一點，線性相關就是，對于N個m維向量v1-vN，存在不全為0的一個系數向量K使得 v1*k1+v2*k2+v3*k3+...+vN*kN=0。換句話說，其中的某些向量，可以通過其他向量，對于其系數的四則運算和組合得到。如果3個 向量v1,v2,v3是線性無關的(顯然，v1,v2,v3都不是全0向量)，那么v1+v2,v2+v3,v1+v3這三個向量之間是什么關系? 其中的任何一個不能通過其他的兩個進行4則運算得到，所以仍然是一組線性無關的向量。

Ax=b的解總是不多于Ax=0的解。這個很好理解: 例如，Ax=0如果是對應3維方程組的話，就是3個平面在3維空間的交點。如果不是交與一條線，也不重合，那么就交與原點(0,0,0)。好了，對于 Ax=b的情況怎么理解呢? 也就是這3個平面都做了一定的平移。那么如果平移的當，交點和原來一樣，只是平移到了(a,b,c)，但是也有可能這3個面平移的不正好相交，變成無解 了。這個分析的過程對應于矩陣的增廣矩陣分析。如果矩陣的秩不等于增廣矩陣的秩，那么相當于高斯消元法的過程出現了0=x(x非0)這樣的謬，也就是方程 組無解(沒有交點)。如果兩個秩相等，就相當于解的數量和原來一樣。

那么，怎么理解秩，通解和特解呢? 還是拿3維平面舉例子(3維方程組)，如果系數矩陣的行列式為0，說明可以通過消元法去掉至少一個方程，就像上面說的x=0,y=0,x-y=0三個平面 的情況一樣，x=y可以通過前面兩個方程相減得到。系數矩陣的非相關向量個數=2，我們稱秩(rank)=2。好了，這個方程組的解有無數個(整個Z 軸)，寫成通解形式就是

(x,y,z)=k(0,0,1)，k是任意實數。如果方程組是Ax=b呢，那么交點相當于平移到了(a,b,c)，通解形式就是 k(0,0,1)+(a,b,c)，這里(a,b,c)是特解，表示平移的基點。怎么求這個特解? 隨便代入一個x的值x0，求出y和z的對應值，但是結果(x0,y0,z0)不等于(a,b,c)，不要緊，k(0,0,1)填補了(x0,y0,z0) 和(a,b,c)之間的差。

繼續(xù)推廣，前面說的Ax=b都是齊次線性方程組，如果A是非齊次的(m*n)呢，例如，有4個變量? 那么如果r(A)=2，說明只有兩個線性無關的矩陣向量，通解基的個數=max(m,n)-r(A)。這里，通解基個數=4-2=2。所以得到兩個方程的 時候，代入(x1,x2)=(1,0),(0,1)兩個向量，求出通解k1(x0,y0,1,0)+k2(x1,y1,0,1)。當然，代如 (x3,x4)=某個向量組合，效果一樣，因為線性相關性是對稱的。最后，求特解，代入一個任意的(x1,x2)組合求出特解(x,y,z,L)。再次推 廣，Ax=B，B也是一個矩陣，有解嗎? 只要保證r(系數矩陣)=r(增廣矩陣)就可以了，也就是保證高斯消元的過程，方程兩邊不出現0=非0的悖論。

好了，為了說明線性相關，秩，通解之間的關系，我舉個例子。這個例子是線性代數的常見證明題：
題目：已知A是m*n的矩陣，秩r(A)=m，存在矩陣使得AB=0有解，通解矢量個數為n-m。求證，對于任何矢量a使得Aa=0，那么必然有一個矢量b使得a=Bb。

怎么證明呢? 要求證的東西其實就是，a可以表示為B的列向量的某種線性組合->也就是求證a總是可以由B的列向量線性表示。那么既然a是Ax=0的一個解，那么 就要求B的列向量必然是Ax=0的通解向量組成的矩陣，那么必然有AB=0的解的個數=n-r(A)=n-m，符合題設。倒過來寫就是證明的過程。
求線性方程組通解的缺點: 求秩的過程依然用到了高斯消元法，沒有對應的計算機方法，全靠人為觀察。而且很多實際應用的情況下，方程組是沒有精確解的，根本求不出秩，為了求得近似解，要引入奇異值分解的方法，而這個方法又引出了：特征矩陣，特征值，特征向量。