这是一个解齐次线性方程组例题組（一般的非解齐次线性方程组例题组AX=b其实也都可以化为齐次方程组的形式所以比较普遍）

先要说明在非齐次方程组中，A到底有没有解析解可以由增广矩阵来判断：

• r(A)>r(A | b) 不可能，因为增广矩阵的秩大于等于系数矩阵的秩（在矩阵中加入一列其秩只可能增大，不可能变小）

2.r(A)<未知数个数n（约束不够） 这里A是不是方阵已经无所谓了，也没有什么法则可以用就只分成一种情况。

由解齐次线性方程组例题组解空間维数 = n - r(A) >0所以该解齐次线性方程组例题组有非零解，而且不唯一（自由度为 n - r(A))

在我们做一些实际问题的时候，经常在 1.2(当然严格来说1.1也有可能啦)会卡住这时实际上是没有真正的非零解析解的，因为约束太多了没法都满足(零向量除外)。但是可以折中一下每一个方程都满足個大概，这就要求最小二乘解求取最小二乘解的方法一般使用SVD，即奇异值分解

解空间维数与r(A)的关系的感性认识： r(A)可以理解为一种约束條件的强弱的表现（约束的强弱不只是表面上的方程个数）。比如有一个方程组每个方程都是一样的，那么其秩为1,方程的个数对约束毫無贡献

继续看A的秩，也就是约束的个数是怎么影响解空间的维数的

x2或者x3一旦确定，其余的未知量就都随之确定了所以自由度为1,所以解空间维数为1。

如果 r(A)=c那么c个方程一共最多可以消去c-1个未知数（比如满秩方阵，最后只留一个未知数得到唯一解），于是得到的方程由n-(c-1)個未知数组成该方程有 n-c个自由度，也就是说解空间的维数为 n-c

上述过程在高斯消去法中表现：

假设消去过后的A如下：

那么最后一个非全0荇的x个数为 num = n-r(A)+1，则可以看到该行的自由度，决定了所有解的自由度（因为一旦改行确定其他都确定了,自由区其实可以理解为用将多少变量固定，就能够确定整个矩阵）而该行的自由度=num-1=n-r(A)=解齐次线性方程组例题组解空间的维数，Bingo!

SVD与最小二乘解： SVD：奇异值分解是在A不为方阵時的对特征值分解的一种拓展。奇异值和特征值的重要意义相似都是为了提取出矩阵的主要特征。

在||X||=1的约束下，其最小二乘解为矩阵A'A朂小特征值所对应的特征向量

假设x为A'A的特征向量的情况下，为什么是最小的特征值对应的x能够是目标函数最小证明(多谢hukexin0000指出错误这个約束太强，只能提供一点点感性认识具体的证明请查阅相关教科书)：

解齐次线性方程组例题组的最小二乘问题可以写成如下：

于是可知，得到了A'A的最小特征值就得到了最优值，而其最小特征值对应的特征向量就是最优解.

而对M进行SVD分解(*表示共轭转置)：

可见M*M的特征向量就是V嘚列向量

求解： 求解方法有两种（matlab）：