课程主页：
一个线性系统满足两个条件：Persevering Multiplication和Persevering Addition。
Persevering Multiplication
Persevering Addition
多元线性方程组是一个线性系统 。
向量是一堆数的集合，分为列向量和行向量，本文中，向量默认是列向量，行向量用其转置表示。
向量与标量相乘 ，每一维都与该标量相乘：
向量相加 ，使用平行四边形法则：
零向量 ：所有维度的值都为0：
标准向量 ：一个维度是1，其余维度是0:
向量集 ：可以包含有限个或无限个向量：
R n : 所有的n维向量组成的向量集合
矩阵是一组向量：
如果矩阵有m行和n列，我们就说矩阵的大小为m*n，如果m=n，我们称为方阵（square matrix）。
矩阵的元素下标表示，先行后列：
矩阵与标量相乘 ：每一个元素分别与该标量相乘。
矩阵相加 ：两个矩阵的形状必须一致，同位置的元素分别相加。
零矩阵 ：所有元素均为0的矩阵。
单位矩阵Identity matrix ：必须是方阵，对角线元素为1，其余为0，用I n 表示n*n的单位矩阵。
同形状的矩阵的一些运算法则 ：
矩阵的转置 ：沿左上到右下的对角线为轴进行翻转，将(i,j)位置的元素与(j,i)位置的元素互换得到的矩阵，转置的矩阵用A T 表示。
矩阵转置的一些运算规则 ：
矩阵和向量相乘，结果如下：
从行的角度来看矩阵和向量相乘 ：从行的角度看，矩阵A和向量x相乘，其结果是矩阵的A的每一行与向量x做点积(dot product,后面再介绍) 的结果。
从列的角度来看矩阵和向量相乘 ：从列的角度看，矩阵A和向量x相乘，相当于对矩阵A的列向量做了一次线性组合。
因此，无论从行角度还是列角度，矩阵A的列数要与向量x的维数相同。
矩阵和向量相乘的一些性质 ：
如果A和B都是m*n的矩阵，对所有的w，如果都有Aw=Bw，那么是否意味着A=B。结果是显然的。既然是所有的w，那么我们用标准向量就可以得到A和B的每一列都是相同的，因此A=B。
对于一个线性方程组，我们可以写成矩阵和向量相乘的形式：
对于一个线性方程组，其解的情况可能是无解，有唯一解或者有无穷多个解。我们把所有的解的集合称为 解集(solution set)
如果线性方程组有解，我们就称其为 相容的(consistent) ，若无解，则称为 不相容的(inconsistent) 。
线性组合是一个操作，将各个向量缩放之后，相加在一起，就得到了参与操作的向量之间的线性组合。
所以线性方程组的问题可以转变成：b是否可以表示成A中列向量的线性组合？
举几个例子：
通过观察上面的例子，你可能会想，在二维平面中，是不是只要两个向量不平行，就一定有解？答案是肯定的，但有解时两个向量不一定平行，因为目标向量也可能跟它们平行。
对于一个向量集S，其向量的所有线性组合组成的向量集V，称为 Span(S) ，也被称为 S张成的空间 。
举几个二维空间中的例子吧，如果S中只有零向量，那么其张成的空间也只有零向量。
如果S中包含一个非零向量，那么其张成的空间是一条直线：
如果一个向量集包含两个不平行的非零向量，那么其可以张成整个二维平面：
所以一个线性方程组的问题又可以转换成两一个等价的问题：向量b是否在A的列向量所张成的空间中？
在上一节中，我们知道了如果b可以表示成A中列向量的线性组合或者b在A的列向量所张成的空间中，那么线性方程组有解，否则无解。但是，有解的情况下是唯一解还是多个解呢？我们还不知道。
给定一个向量集，如果其中一个向量可以表示成其余向量的线性组合，那么我们就说这组向量是 线性相关(Linear Dependent) 的。值得注意的是，零向量是任意向量的线性组合，因此只要包含零向量的向量集，都是线性相关的。
线性相关还有另一种定义，即可以找到一组非全零的标量，使得线性组合为零向量。
与之相对应，如果无法找到一组非全零的标量，使得线性组合得到零向量，那么这组向量就是 线性无关的(Linear Independent) ：
判断向量集是线性无关还是线性相关，其实就是看一个 齐次方程(Homogeneous Equations) 有无非零解：
由此，对于Ax=b，我们可以得到两个结论：如果A的列是线性相关的，且Ax=b有解，那么，它有无穷多个解；如果Ax=b有无穷多个解，那么A的列是线性相关的：
矩阵的秩(Rank) 定义为线性无关的列的最大数目：
矩阵的零化度(Nullity) 是矩阵的列数减去矩阵的秩：
也就是说，如果一个m*n的矩阵，其秩为n的话，它的列是线性无关的：
所以总结一下线性方程组的解的相关问题：
如果两个线性方程组的解集是相同的，我们就称它们是等价的(equivalent)。
对线性方程组做以下三种操作可以得到等价的方程组： 1）交换两行 2）对其中一行变为k倍 3）将一行的k倍加到另一行上
上面的三种操作我们也称为 初等行变换(elementary row operations)
这里我们介绍一下 增广矩阵(Augmented Matrix) ，即将A和b进行横向拼接：
因此，通过初等行变换，如果我们能够将增广矩阵转换为一个相对简单的形式，那么我们可以很快的得出最终的解。
我们首先介绍行阶梯形式的矩阵，它满足两个条件，首先是非零行要在全零行的上面，其 先导元素(leading entries，每行的第一个非零元素) 按阶梯型排列：
在上述两个条件的基础上，如果先导元素所在的列都是标准向量的话，那么它就是 简化行阶梯形式Reduced Row Echelon Form ：
下面的矩阵不是简化行阶梯形式：
而下面的矩阵是简化行阶梯形式：
根据简化行阶梯形式，我们很容易得到线性方程组的解的形式。
如果简化行阶梯形式是[I;b']的，那么线性方程组有唯一解：
下面的例子是有无穷多个解的情况，可以看到，第1、3、5列是包含先导元素的标准向量，其对应的变量也称为基本变量，而第2、4个变量被称为自由变量：
下面的例子是无解的情况，先导元素出现在了最后一列：
通过将增广矩阵化简为简约行阶梯形式，进而求解线性方程组解的方法，我们称之为 高斯消元法(Gaussian Elimination)
接下来，我们来看一下简约行阶梯型形式的一些性质： (1)化简为简约行阶梯型形式之后，列之间的关系不变
也就是说， 初等行变换不改变矩阵中列之间的关系 。加入A的简约行阶梯形式是R，那么Ax=0和Rx=0有相同的解集。
但是对于行来说，行阶梯形式改变了行之间的关系，比如原先两行是两倍的关系，其中一行变为二倍之后，二者就相等了，关系自然改变了。
(2)简约行阶梯形式改变了矩阵列所张成的空间 举个简单的例子就能理解，假设一个矩阵是[[1,2],[2,4]]，它所张成的空间是y=2x，化简后得到[[1,0],[0,0]]，此时所张成的空间却是整个平面。但是没有改变行所张成的空间。
(3)先导元素所在的列线性无关，其他列是这些列的线性组合 先导元素所在的列，在原矩阵中被称为 主列(pivot columns) ,这些列是线性无关的，其他列可以有主列的线性组合得到。
(4) 矩阵的秩等于主列的个数，等于简约行阶梯型里非0行的个数
根据这个性质，我们可以得到矩阵的秩的一个性质： Rank(A) <= Min(Number of columns,Number of rows)
因为秩等于主列的个数，所以秩一定小于等于列的个数，因为秩等于简约行阶梯型中非零行的个数，所以秩一定小于等于矩阵行的个数。
有这个性质我们还可以得出两个简单的结论： 对于m*n的矩阵A，如果m 所以我们再来回顾一下矩阵秩的判定，我们已经有多种得到矩阵秩的方式： (5)当m*n的矩阵A的秩为m是，方程组Ax=b恒有解 对于增广矩阵来说，如果变为简约行阶梯型后先导元素出现在了最后一列，则无解。 什么情况下Ax=b恒有解呢？b是一个m*1的向量，也就是说矩阵A的列向量可以张成整个R m 空间，即A的秩为行数m，也就是A变成简约行阶梯型之后没有全0行。 (6)m个线性无关的m维向量可以张成整个R m 空间，R m 空间中多于m个向量的向量集一定线性相关 如果m*n的矩阵的秩为n或者m，那么说该矩阵为 满秩(Full Rank) 。 给定两个矩阵A和B，其相乘结果中的元素(i,j)是矩阵A的第i行和矩阵B的第j列的内积，因此，矩阵A的列数一定要个矩阵B的行数相等。 矩阵乘法可以看作是两个线性方程的组合： (1) AB <> BA (2)(AB) T = B T A T (3)其他性质 (4)对角矩阵相乘 分块矩阵相乘和普通矩阵相乘其实是相同的： 如果两个方阵A和B的乘积是单位矩阵，AB=I，那么A和B就是互为逆矩阵。 一个矩阵是 可逆的(invertible) 的，必须满足两个条件，首先要是方阵，其次是可以找到另一个方阵B，使得AB=I。 并不是所有的方阵都是可逆的。同时，一个矩阵的逆矩阵是唯一的 ： 逆矩阵可以用来求解一个线性方程组，但这种方法要求A是一个方阵，同时在计算上并不是十分有效率的： 我们之前介绍了三种初等行变换，其实初等行变换都可以用矩阵相乘表示，这种左乘的矩阵被称作 初等矩阵(Elementary Matrix) 。即单位矩阵经过一次初等变换得到的矩阵。 既然左乘一个初等矩阵相当于对单位矩阵做一次初等行变换，那么只要再左乘一个相反操作的初等矩阵，就可以再次变回单位矩阵，所以初等矩阵的逆很容易得到： 线性代数知识点归纳有线性方程组是线性代数的核心，线性方程组是一个或几个包含相同变量x1，x2，xn的线性方程组成的，方程组所有可能的解的集合称为线性方程组的解集。两个线性方程组若有相同的解集，则称为等价的。 线性方程组的解法思路是把方程组用一个更容易解的等价方程组（既有相同解集）代替、用方程序第一个含x1的项消去其他方程组x1的项，然后用第二个含x2的项消去其他含x2的项，以此类推，他有三个性质：倍加变换、对换变换、倍乘变换。 线性代数介绍 线性代数是关于向量空间和线性映射的一个数学分支，包括对线、面和子空间的研究，也涉及到所有向量空间的一般性质。 线性代数是纯数学和应用数学的核心，它的含义随着数学的发展而不断扩大，其理论和方法已经渗透到数学的许多分支，也成为理论物理和理论化学不可缺少的代数基础知识。 线性代数是代数学的一个分支，主要处理线性关系问题。线性关系意即数学对象之间的关系是以一次形式来表达的。 例如，在解析几何里，平面上直线的方程是二元一次方程；空间平面的方程是三元一次方程，而空间直线视为两个平面相交，由两个三元一次方程所组成的方程组来表示。含有n个未知量的一次方程称为线性方程。 关于变量是一次的函数称为线性函数。线性关系问题简称线性问题。解线性方程组的问题是最简单的线性问题。 线性代数知识点有线性方程组是线性代数的核心。 线性方程组由一个或多个包含相同变量x1，X2，。。。，xn。方程组的所有可能解的集合称为线性方程组的解集合。如果两个线性方程组具有相同的解集，则称之为等价解。 线性代数中所体现的几何概念与代数方法的关系、从具体概念中抽象出来的公理化方法、严密的逻辑推导和巧妙的归纳与综合，对于加强人们的数学训练和获得科学智能是非常有用的。 2.现代线性代数已经扩展到研究任意或无限维空间。维数为n的向量空间称为n维空间。二维和三维空间中最有用的结论可以推广到这些高维空间。虽然许多人不容易想象n维空间中的向量，但这样的向量（即n元组）非常有效地表示数据。作为n元组，向量是n个元素的“有序”列表。大多数人可以在这个框架中有效地总结和操作数据。 线性代数知识点归纳有线性方程组是线性代数的核心，线性方程组是一个或几个包含相同变量x1，x2，xn的线性方程组成的，方程组所有可能的解的集合称为线性方程组的解集。两个线性方程组若有相同的解集，则称为等价的。 线性方程组的解法思路是把方程组用一个更容易解的等价方程组（既有相同解集）代替、用方程序第一个含x1的项消去其他方程组x1的项，然后用第二个含x2的项消去其他含x2的项，以此类推，他有三个性质：倍加变换、对换变换、倍乘变换。 线性代数介绍 线性代数是关于向量空间和线性映射的一个数学分支，包括对线、面和子空间的研究，也涉及到所有向量空间的一般性质。 线性代数是纯数学和应用数学的核心，它的含义随着数学的发展而不断扩大，其理论和方法已经渗透到数学的许多分支，也成为理论物理和理论化学不可缺少的代数基础知识。 线性代数是代数学的一个分支，主要处理线性关系问题。线性关系意即数学对象之间的关系是以一次形式来表达的。 例如，在解析几何里，平面上直线的方程是二元一次方程；空间平面的方程是三元一次方程，而空间直线视为两个平面相交，由两个三元一次方程所组成的方程组来表示。含有n个未知量的一次方程称为线性方程。 关于变量是一次的函数称为线性函数。线性关系问题简称线性问题。解线性方程组的问题是最简单的线性问题。 1、线性代数是代数学的一个分支，主要处理线性关系问题。线性关系意即数学对象之间的关系是以一次形式来表达的。例如，在解析几何里，平面上直线的方程是二元一次方程； 空间平面的方程是三元一次方程，而空间直线视为两个平面相交，由两个三元一次方程所组成的方程组来表示。含有n个未知量的一次方程称为线性方程。关于变量是一次的函数称为线性函数。线性关系问题简称线性问题。解线性方程组的问题是最简单的线性问题。 2、线性代数作为一个独立的分支在20世纪才形成，然而它的历史却非常久远。“鸡兔同笼”问题实际上就是一个简单的线性方程组求解的问题。 最古老的线性问题是线性方程组的解法，在中国古代的数学著作《九章算术·方程》章中，已经作了比较完整的叙述，其中所述方法实质上相当于现代的对方程组的增广矩阵的行施行初等变换，消去未知量的方法。 3、每一个线性空间都有一个基。 4、对一个 n 行 n 列的非零矩阵 A，如果存在一个矩阵 B 使 AB = BA =E（E是单位矩阵），则 A 为非奇异矩阵（或称可逆矩阵），B为A的逆阵。 5、矩阵非奇异（可逆）当且仅当它的行列式不为零。 6、矩阵非奇异当且仅当它代表的线性变换是个自同构。 7、矩阵半正定当且仅当它的每个特征值大于或等于零。 8、矩阵正定当且仅当它的每个特征值都大于零。 9、解线性方程组的克拉默法则。 10、判断线性方程组有无非零实根的增广矩阵和系数矩阵的关系。 8、行列式 8.1 什么是行列式？ 首先方阵才有行列式，我们先来简单回顾一下2*2和3*3的矩阵的行列式： 那行列式代表什么含义呢？在二维平面中，矩阵行列式的绝对值代表一个平行四边形的面积，在三维空间中，矩阵行列式的绝对值代表一个平行六面体的体积： 8.2 行列式的性质 (1)单位矩阵的行列式为1 (2)交换任意的两行，行列式变号 (3)对任意一行来说，行列式是“线性”的 从ppt上不好翻译，但是看图是很直观的： 所以，下面的式子是正确的： 同时： (4)如果行列式有两行相等或者是倍数关系，行列式值为0 这个性质也是很直观的，交换两行变号嘛，但是交换的两行如果是一样的，那么行列式的值应该不变，-a=a那么a只能是0。 (5)对角矩阵的行列式等于对角线上元素的乘积 (6)如果一个方阵的行列式不为0，那么它是可逆的，反之，如果一个方阵可逆，那么它的行列式不为0 如果一个矩阵是可逆的，它可以经由初等变换得到单位矩阵，每一次初等变换得到的矩阵的行列式值，相当于对原矩阵的行列式值乘上一个标量。由于每次乘的标量不为0，所以可以得到原矩阵的行列式值不为0。 (7)det(AB)=det(A)*det(B) (8)矩阵转置的行列式和原矩阵相同 所以说，刚才的结论同样适用于列。即如果有两列相同或是倍数关系，行列式值同为0，同时每一列也是线性的。 8.3 行列式的计算 我们首先来介绍 余子式和代数余子式 ，一个矩阵的任意一个元素aij都有对应的余子式，它就是将第i行和第j列划掉之后所得到的矩阵的行列式，用det(Aij)表示： 而cij=(-1)i+jdet(Aij)被称为代数余子式。 根据代数余子式，我们可以得到计算行列式的公式如下： 举个3维的例子： 因此，对于一个方阵的行列式，它是n!项的和(n!是n个元素的全排列的个数)，对于每一项，它是从每一行选择一个元素进行相乘，而这些元素分别属于不同列。 有了代数余子式，我们可以得到矩阵A的伴随矩阵。伴随矩阵中的每个元素是原矩阵中该位置元素的代数余子式： 我们可以进一步通过伴随矩阵和行列式值来计算矩阵的逆： 9、子空间 9.1 子空间 如果一个向量集合V满足三个条件:(1)包含零向量(2)如果u和v属于V，那么u+v也属于V(3)如果u属于V，c是一个标量，那么cu也属于V。就称这个向量集合V为 子空间(subspace) : 举个例子，下面的向量集合是一个子空间： 只有零向量的集合也是一个子空间，三条性质都满足。 9.2 零空间 对于一个矩阵A来说，使得Ax=0的所有x所组成的集合被称为矩阵A的 零空间(Null Space) : 9.3 列空间和行空间 列空间(Column Space) 是矩阵A的列所张成的空间， 行空间(Row Space) 是矩阵的行所张成的空间。 在将矩阵化简为行阶梯型之后，矩阵的列空间是改变的，而行空间不变。 好了，我们又可以添加一条判断线性方程组是否有解的条件了，即b是否在A的列空间中。 10、基Basis 10.1 什么是基Basis 假设V是Rn的一个子空间，能够张成空间V的一组线性无关的向量被称为 基(Basis) 。 对于一个矩阵来说，其主列是其列空间的基： 10.2 基的特性 基有如下的特性： (1)基是一个能张成空间V的数量最小的向量集合 如果一组向量S能够张成子空间V，那么基中包含的向量数目小于或等于S中向量的数目。 (2)基是空间中数量最多的线性无关的向量集合 如果子空间V的基中向量的数量是k，那么你不能找到比k个多的线性无关的向量集合。 (3)子空间中任意的两组基都包含相同数目的向量 这个如何证明呢？ 1）假设子空间V中有两组基A和B，个数分别是k和p； 2）因为A是子空间中的基，所以B中的所有向量都可以表示成A中向量的线性组合，即有AC=B，C的列数为p，行数是k； 3）假设存在一个p维向量x使得Cx=0，所以ACx=Bx=0因为B是基，所以Bx=0的解只能是零向量，所以C也是线性无关的； 4）因为C中的列向量是k维的，p个k维的向量线性无关，所以一定有p<=k； 5）同理k<=p，所以最终k=p，即A和B中向量的个数是相同的。 (4)子空间V的基的向量的数量被称为V的维度(dimension) 10.3 判断一个集合是否为基 通过定义，我们可以判断一个集合是否为基，需满足两个条件，向量之间线性无关，同时能够张成空间V，前者容易判断，后者较难判断： 另一种思路，假设对于一个子空间V，我们已经知道它的维度为2，如果S是一个包含k个vector并且属于V的一个子集，那么如果 1）S中的向量线性无关，那么S是一个基 2）S能够张成空间V，那么S是一个基 10.4 三种空间的基和维度 我们之前介绍过对于一个矩阵的三个空间，行空间、列空间以及零空间，他们的基以及维度都是多少呢？ A的列空间 A的列空间的基是主列组成的集合，维度就是主列的个数 A的零空间 A的零空间的的维度是Ax=0中自由变量的个数，基看下面的图片： A的行空间 A的行空间的维度是化简为简约行阶梯型之后非零行的个数，基就是简约行阶梯型中先导元素所在的行所组成集合。 这里我们可以得出一个结论，矩阵A和其转置的秩相等： 总结一下就是下面这样子啦： 11、坐标系 11.1 使用基表示向量 在n维空间中，我们可以使用基向量来表示坐标系，这样空间中的任意向量的坐标都确定了，但是对于同一向量，使用不同的坐标系，其坐标是不同的： 同理，在不同坐标系下，同一个坐标所代表的向量也不同： 当基确定时，一个向量的坐标也是唯一的，由于基之间是线性无关的，因此证明如下： 在某一坐标系 B 下，一个向量可以表示成其对应的坐标表示： 而我们最为常用的一种坐标系就是直角坐标系(Cartesian coordinate system)，通常表示如下： 那么根据任意坐标系以及某一向量在该坐标系下的坐标，如何得到该向量呢？很简单，该向量可以表示成基的线性组合，系数即为其坐标： 那么，如何得到某一向量在任意坐标系下的坐标，两边同乘B-1即可： 11.2 直角坐标系和其他坐标系的转换 其实我们的向量就是在直角坐标系下的坐标表示，所以其实直角坐标系和其他坐标系的转换我们上一节已经讲过： 11.3 坐标系与线性方程 我们之前所说的线性方程，都是相对于直角坐标系所说的，有时候有些问题直接在直角坐标系下进行求解并不容易，但是转换到另一坐标系下就会变得十分简单，这就得到了通过坐标系转换来求解问题的思路： 我们举个例子来说吧，如果下图中的T表示得到任意一个向量关于直线L的对称向量： 直接求解这个问题非常难，我们想要找的是一个矩阵A，使得T(x)=Ax，直线如果不是横轴或者纵轴的话，要找到这个矩阵A是十分困难的。但是如果直线是横轴或者纵轴的话，这个问题就变得非常简单。假设直线是横轴，那么要找的矩阵我们可以很容易写出： 所以我们可以通过坐标系变换，把直线L变成横轴，那么问题就简单了： 所以我们在直角坐标系下的这个变换矩阵A也就找到了，此时我们可以称两个坐标系下的变换矩阵是 相似矩阵(Similar matrices) ： 假设直线L为y=0.5x，那么求解过程如下： 12、特征值和特征向量 12.1 什么是特征值和特征向量 好了，在写这一节之前，我们看来想一下上一节的东西，我们说一个直角坐标系下的向量v， 其在另一个坐标系下的坐标表示为Bv，这个B是该坐标系下的基所做成的矩阵，所以说 矩阵可以表示一种线性变换(Linear Transformation) ，它将一个向量在直角坐标系下的坐标表示转换为另一坐标系下的坐标表示！ 我们知道，任意非零向量都可以张成一条直线，有的向量在一个矩阵A作用后，偏离了其所张成的空间；但有的向量在矩阵A作用后，还是在原有张成的空间，矩阵A只是对该向量起到了一定的伸缩作用，那么我们就说该向量是矩阵A的 特征向量(Eigenvector) ，而这个伸缩作用的大小我们就称为 特征值(Eigenvalue) 。所以我们知道，该向量所张成空间中的所有向量(零向量除外)都是该矩阵的特征向量。下面的例子中，经过变换后横轴没有发生变化，所以横轴的向量都是特征向量，特征值为1。 好了，我们可以给出特征值和特征向量的定义了： 12.2 如何计算特征向量 假设我们已经知道了特征值λ，我们可以根据Av=λv求解其对应的特征向量： 而某一特征值λ的 特征空间(Eigenspace) 定义为(A-λIn)v=0的解集： Eigenspace也可以说是λ所对应的特征向量再加上零向量(特征向量不能是零向量) 12.3 检查一个标量是否为特征值 检查一个标量是否为特征值，只需要判断其对应的特征空间是否只有零向量即可： 12.4 计算特征值 如果一个标量是矩阵A的特征值，那么他会满足下面所有的条件： 那么如何计算一个矩阵的特征值呢，这里要使用 特征多项式(Characteristic Polynomial) ，特征值是特征多项式的根。即： 举个例子： 这里我们可以得到一个性质，两个相似矩阵的特征值是相同的，证明如下： 那么一个n阶方阵有多少特征值呢？最多n个。如果一个n阶方阵有n个特征值(包括重复值)，那么这n个特征值的的和等于矩阵的迹(trace,即矩阵主对角线的元素之和)，同时，这n个特征值的乘积等于矩阵的行列式。 对特征多项式进行因式分解，我们可以得到如下重要的结论，一个特征值对应的特征空间的维度，小于等于该特征值重复出现的次数。 举例来说： 12.5 正定矩阵&半正定矩阵 如果一个矩阵的所有特征值都大于0，那么这个矩阵被称为 正定矩阵(positive definite matrix) ，如过特征值都大于等于0，则称为 半正定矩阵 。 那么正定或者半正定矩阵的含义是什么呢？这里我们以正定矩阵为例。我们知道一个矩阵的A代表一种线性变化，那么如果一个矩阵是正定的，就有xTAx>0,假设x在经过A的变换后变为y，那么xTy>0，即x和y的内积大于0,或者说夹角小于90度。所以正定矩阵的直觉代表一个向量经过它的变化后的向量与其本身的夹角小于90度。 13、对角化 13.1 可对角化 如果一个n阶方阵A可以变为A=PDP-1,其中D是n阶对角矩阵，P是n阶可逆方阵，那么A就是 可对角化的(diagonalizable) 。但并非所有的矩阵都可以进行对角化： 如果A是可对角化的，那么P中的列向量是A的特征向量，D中对角线元素是A的特征值，证明如下： 同时，我们可以得到如下结论： 13.2 可对角化的性质 本节我们介绍几个重要的性质， 1)不同特征值对应的特征向量之间线性无关。 2)如果一个矩阵A可对角化，那么其特征值对应的特征空间的维度，等于该特征值重复出现的次数。 3)如果一个矩阵A可对角化，那么Am= PDmP-1。 我们首先来看第一个性质： 我们可以假设他们之间线性相关来进行反证： 再来看第二个性质： 14、正交 14.1 范数和距离 我们常用 范数(Norm) 来表示矩阵的长度，其中最常用的是二范数： 两个向量的距离，我们使用的一般是欧式距离： 14.2 点积和正交 点积(Dot Product) 的计算如下： 两个向量是 正交的(Orthogonal) ，如果两个向量的点积是0，那么零向量和任何向量都是正交的。 点积具有如下的性质： 同时，如果两个向量是正交的，那么有如下性质： 在三角形中，我们有著名的三角不等式，两条边长度之和大于第三条边的长度，所以我们有： 14.3 正交补 对于一个非空的向量集合S，该集合的 正交补(Orthogonal Complement) 定义为： 关于正交补，我们有如下性质： 本文目录 1、线性系统Linear System 2、Vectors、Matrices 2.1 向量Vectors 2.2 矩阵Matrix 2.3 矩阵与向量相乘 3、线性方程组有解么？ 3.1 线性方程组 3.2 线性组合Linear Combination 3.3 张成的空间Span 4、线性方程组有多少个解 4.1 线性相关和线性无关 4.2 秩Rank 5、求解线性方程组 5.1 初等行变换 5.2 简化行阶梯形式Reduced Row Echelon Form 5.3 满秩 6、矩阵乘法 6.1 矩阵乘法的含义 6.2 矩阵乘法的性质 6.3 分块矩阵乘法 7、逆矩阵 7.1 什么是矩阵的逆 7.2 初等矩阵 7.3 什么矩阵是可逆的？ 7.4 求解一个矩阵的逆 8、行列式 8.1 什么是行列式？ 8.2 行列式的性质 8.3 行列式的计算 9、子空间 9.1 子空间 9.2 零空间 9.3 列空间和行空间 10、基Basis 10.1 什么是基Basis 10.2 基的特性 10.3 判断一个集合是否为基 10.4 三种空间的基和维度 11、坐标系 11.1 使用基表示向量 11.2 直角坐标系和其他坐标系的转换 11.3 坐标系与线性方程 12、特征值和特征向量 12.1 什么是特征值和特征向量 12.2 如何计算特征向量 12.3 检查一个标量是否为特征值 12.4 计算特征值 12.5 正定矩阵&半正定矩阵 13、对角化 13.1 可对角化 13.2 可对角化的性质 14、正交 14.1 范数和距离 14.2 点积和正交 14.3 正交补 14.4 正交投影 14.5 如何做正交投影 14.6 正交投影的应用-求解线性回归 14.7 正交基 14.8 正交矩阵 14.9 对称矩阵 15、奇异值分解 15.1 什么是奇异值分解？ 1、线性系统Linear System 一个线性系统满足两个条件：Persevering Multiplication和Persevering Addition。 Persevering Multiplication Persevering Addition 多元线性方程组是一个线性系统 。 2、Vectors、Matrices 2.1 向量Vectors 向量是一堆数的集合，分为列向量和行向量，本文中，向量默认是列向量，行向量用其转置表示。 向量与标量相乘 ，每一维都与该标量相乘： 向量相加 ，使用平行四边形法则： 零向量 ：所有维度的值都为0： 标准向量 ：一个维度是1，其余维度是0: 向量集 ：可以包含有限个或无限个向量： Rn : 所有的n维向量组成的向量集合 2.2 矩阵Matrix 矩阵是一组向量： 如果矩阵有m行和n列，我们就说矩阵的大小为m*n，如果m=n，我们称为方阵（square matrix）。 矩阵的元素下标表示，先行后列： 矩阵与标量相乘 ：每一个元素分别与该标量相乘。 矩阵相加 ：两个矩阵的形状必须一致，同位置的元素分别相加。 零矩阵 ：所有元素均为0的矩阵。 单位矩阵Identity matrix ：必须是方阵，对角线元素为1，其余为0，用In表示n*n的单位矩阵。 同形状的矩阵的一些运算法则 ： 矩阵的转置 ：沿左上到右下的对角线为轴进行翻转，将(i,j)位置的元素与(j,i)位置的元素互换得到的矩阵，转置的矩阵用AT表示。 矩阵转置的一些运算规则 ： 2.3 矩阵与向量相乘 矩阵和向量相乘，结果如下： 从行的角度来看矩阵和向量相乘 ：从行的角度看，矩阵A和向量x相乘，其结果是矩阵的A的每一行与向量x做点积(dot product,后面再介绍) 的结果。 从列的角度来看矩阵和向量相乘 ：从列的角度看，矩阵A和向量x相乘，相当于对矩阵A的列向量做了一次线性组合。 因此，无论从行角度还是列角度，矩阵A的列数要与向量x的维数相同。 矩阵和向量相乘的一些性质 ： 如果A和B都是m*n的矩阵，对所有的w，如果都有Aw=Bw，那么是否意味着A=B。结果是显然的。既然是所有的w，那么我们用标准向量就可以得到A和B的每一列都是相同的，因此A=B。 3、线性方程组有解么？ 3.1 线性方程组 对于一个线性方程组，我们可以写成矩阵和向量相乘的形式： 对于一个线性方程组，其解的情况可能是无解，有唯一解或者有无穷多个解。我们把所有的解的集合称为 解集(solution set) 如果线性方程组有解，我们就称其为 相容的(consistent) ，若无解，则称为 不相容的(inconsistent) 。 3.2 线性组合Linear Combination 线性组合是一个操作，将各个向量缩放之后，相加在一起，就得到了参与操作的向量之间的线性组合。 所以线性方程组的问题可以转变成：b是否可以表示成A中列向量的线性组合？ 举几个例子： 通过观察上面的例子，你可能会想，在二维平面中，是不是只要两个向量不平行，就一定有解？答案是肯定的，但有解时两个向量不一定平行，因为目标向量也可能跟它们平行。 3.3 张成的空间Span 对于一个向量集S，其向量的所有线性组合组成的向量集V，称为 Span(S) ，也被称为 S张成的空间 。 举几个二维空间中的例子吧，如果S中只有零向量，那么其张成的空间也只有零向量。 如果S中包含一个非零向量，那么其张成的空间是一条直线： 如果一个向量集包含两个不平行的非零向量，那么其可以张成整个二维平面： 所以一个线性方程组的问题又可以转换成两一个等价的问题：向量b是否在A的列向量所张成的空间中？ 4、线性方程组有多少个解 在上一节中，我们知道了如果b可以表示成A中列向量的线性组合或者b在A的列向量所张成的空间中，那么线性方程组有解，否则无解。但是，有解的情况下是唯一解还是多个解呢？我们还不知道。 4.1 线性相关和线性无关 给定一个向量集，如果其中一个向量可以表示成其余向量的线性组合，那么我们就说这组向量是 线性相关(Linear Dependent) 的。值得注意的是，零向量是任意向量的线性组合，因此只要包含零向量的向量集，都是线性相关的。 线性相关还有另一种定义，即可以找到一组非全零的标量，使得线性组合为零向量。 与之相对应，如果无法找到一组非全零的标量，使得线性组合得到零向量，那么这组向量就是 线性无关的(Linear Independent) ： 判断向量集是线性无关还是线性相关，其实就是看一个 齐次方程(Homogeneous Equations) 有无非零解： 由此，对于Ax=b，我们可以得到两个结论：如果A的列是线性相关的，且Ax=b有解，那么，它有无穷多个解；如果Ax=b有无穷多个解，那么A的列是线性相关的： 4.2 秩Rank 矩阵的秩(Rank) 定义为线性无关的列的最大数目： 矩阵的零化度(Nullity) 是矩阵的列数减去矩阵的秩： 也就是说，如果一个m*n的矩阵，其秩为n的话，它的列是线性无关的： 所以总结一下线性方程组的解的相关问题： 5、求解线性方程组 5.1 初等行变换 如果两个线性方程组的解集是相同的，我们就称它们是等价的(equivalent)。 对线性方程组做以下三种操作可以得到等价的方程组： 1）交换两行 2）对其中一行变为k倍 3）将一行的k倍加到另一行上 上面的三种操作我们也称为 初等行变换(elementary row operations) 这里我们介绍一下 增广矩阵(Augmented Matrix) ，即将A和b进行横向拼接： 因此，通过初等行变换，如果我们能够将增广矩阵转换为一个相对简单的形式，那么我们可以很快的得出最终的解。 5.2 简化行阶梯形式Reduced Row Echelon Form 我们首先介绍行阶梯形式的矩阵，它满足两个条件，首先是非零行要在全零行的上面，其 先导元素(leading entries，每行的第一个非零元素) 按阶梯型排列： 在上述两个条件的基础上，如果先导元素所在的列都是标准向量的话，那么它就是 简化行阶梯形式Reduced Row Echelon Form ： 下面的矩阵不是简化行阶梯形式： 而下面的矩阵是简化行阶梯形式： 根据简化行阶梯形式，我们很容易得到线性方程组的解的形式。 如果简化行阶梯形式是[I;b']的，那么线性方程组有唯一解： 下面的例子是有无穷多个解的情况，可以看到，第1、3、5列是包含先导元素的标准向量，其对应的变量也称为基本变量，而第2、4个变量被称为自由变量： 下面的例子是无解的情况，先导元素出现在了最后一列： 通过将增广矩阵化简为简约行阶梯形式，进而求解线性方程组解的方法，我们称之为 高斯消元法(Gaussian Elimination) 接下来，我们来看一下简约行阶梯型形式的一些性质： (1)化简为简约行阶梯型形式之后，列之间的关系不变 也就是说， 初等行变换不改变矩阵中列之间的关系 。加入A的简约行阶梯形式是R，那么Ax=0和Rx=0有相同的解集。 但是对于行来说，行阶梯形式改变了行之间的关系，比如原先两行是两倍的关系，其中一行变为二倍之后，二者就相等了，关系自然改变了。 (2)简约行阶梯形式改变了矩阵列所张成的空间 举个简单的例子就能理解，假设一个矩阵是[[1,2],[2,4]]，它所张成的空间是y=2x，化简后得到[[1,0],[0,0]]，此时所张成的空间却是整个平面。但是没有改变行所张成的空间。 (3)先导元素所在的列线性无关，其他列是这些列的线性组合 先导元素所在的列，在原矩阵中被称为 主列(pivot columns) ,这些列是线性无关的，其他列可以有主列的线性组合得到。 (4) 矩阵的秩等于主列的个数，等于简约行阶梯型里非0行的个数 根据这个性质，我们可以得到矩阵的秩的一个性质： Rank(A) <= Min(Number of columns,Number of rows) 因为秩等于主列的个数，所以秩一定小于等于列的个数，因为秩等于简约行阶梯型中非零行的个数，所以秩一定小于等于矩阵行的个数。 有这个性质我们还可以得出两个简单的结论： 对于m*n的矩阵A，如果m 线性代数知识点归纳有线性方程组是线性代数的核心，线性方程组是一个或几个包含相同变量x1，x2，xn的线性方程组成的，方程组所有可能的解的集合称为线性方程组的解集。两个线性方程组若有相同的解集，则称为等价的。 线性方程组的解法思路是把方程组用一个更容易解的等价方程组（既有相同解集）代替、用方程序第一个含x1的项消去其他方程组x1的项，然后用第二个含x2的项消去其他含x2的项，以此类推，他有三个性质：倍加变换、对换变换、倍乘变换。 线性代数介绍 线性代数是关于向量空间和线性映射的一个数学分支，包括对线、面和子空间的研究，也涉及到所有向量空间的一般性质。 线性代数是纯数学和应用数学的核心，它的含义随着数学的发展而不断扩大，其理论和方法已经渗透到数学的许多分支，也成为理论物理和理论化学不可缺少的代数基础知识。 线性代数是代数学的一个分支，主要处理线性关系问题。线性关系意即数学对象之间的关系是以一次形式来表达的。 例如，在解析几何里，平面上直线的方程是二元一次方程；空间平面的方程是三元一次方程，而空间直线视为两个平面相交，由两个三元一次方程所组成的方程组来表示。含有n个未知量的一次方程称为线性方程。 关于变量是一次的函数称为线性函数。线性关系问题简称线性问题。解线性方程组的问题是最简单的线性问题。 8、行列式 8.1 什么是行列式？ 首先方阵才有行列式，我们先来简单回顾一下2*2和3*3的矩阵的行列式： 那行列式代表什么含义呢？在二维平面中，矩阵行列式的绝对值代表一个平行四边形的面积，在三维空间中，矩阵行列式的绝对值代表一个平行六面体的体积： 8.2 行列式的性质 (1)单位矩阵的行列式为1 (2)交换任意的两行，行列式变号 (3)对任意一行来说，行列式是“线性”的 从ppt上不好翻译，但是看图是很直观的： 所以，下面的式子是正确的： 同时： (4)如果行列式有两行相等或者是倍数关系，行列式值为0 这个性质也是很直观的，交换两行变号嘛，但是交换的两行如果是一样的，那么行列式的值应该不变，-a=a那么a只能是0。 (5)对角矩阵的行列式等于对角线上元素的乘积 (6)如果一个方阵的行列式不为0，那么它是可逆的，反之，如果一个方阵可逆，那么它的行列式不为0 如果一个矩阵是可逆的，它可以经由初等变换得到单位矩阵，每一次初等变换得到的矩阵的行列式值，相当于对原矩阵的行列式值乘上一个标量。由于每次乘的标量不为0，所以可以得到原矩阵的行列式值不为0。 (7)det(AB)=det(A)*det(B) (8)矩阵转置的行列式和原矩阵相同 所以说，刚才的结论同样适用于列。即如果有两列相同或是倍数关系，行列式值同为0，同时每一列也是线性的。 8.3 行列式的计算 我们首先来介绍 余子式和代数余子式 ，一个矩阵的任意一个元素aij都有对应的余子式，它就是将第i行和第j列划掉之后所得到的矩阵的行列式，用det(Aij)表示： 而cij=(-1)i+jdet(Aij)被称为代数余子式。 根据代数余子式，我们可以得到计算行列式的公式如下： 举个3维的例子： 因此，对于一个方阵的行列式，它是n!项的和(n!是n个元素的全排列的个数)，对于每一项，它是从每一行选择一个元素进行相乘，而这些元素分别属于不同列。 有了代数余子式，我们可以得到矩阵A的伴随矩阵。伴随矩阵中的每个元素是原矩阵中该位置元素的代数余子式： 我们可以进一步通过伴随矩阵和行列式值来计算矩阵的逆： 9、子空间 9.1 子空间 如果一个向量集合V满足三个条件:(1)包含零向量(2)如果u和v属于V，那么u+v也属于V(3)如果u属于V，c是一个标量，那么cu也属于V。就称这个向量集合V为 子空间(subspace) : 举个例子，下面的向量集合是一个子空间： 只有零向量的集合也是一个子空间，三条性质都满足。 9.2 零空间 对于一个矩阵A来说，使得Ax=0的所有x所组成的集合被称为矩阵A的 零空间(Null Space) : 9.3 列空间和行空间 列空间(Column Space) 是矩阵A的列所张成的空间， 行空间(Row Space) 是矩阵的行所张成的空间。 在将矩阵化简为行阶梯型之后，矩阵的列空间是改变的，而行空间不变。 好了，我们又可以添加一条判断线性方程组是否有解的条件了，即b是否在A的列空间中。 10、基Basis 10.1 什么是基Basis 假设V是Rn的一个子空间，能够张成空间V的一组线性无关的向量被称为 基(Basis) 。 对于一个矩阵来说，其主列是其列空间的基： 10.2 基的特性 基有如下的特性： (1)基是一个能张成空间V的数量最小的向量集合 如果一组向量S能够张成子空间V，那么基中包含的向量数目小于或等于S中向量的数目。 (2)基是空间中数量最多的线性无关的向量集合 如果子空间V的基中向量的数量是k，那么你不能找到比k个多的线性无关的向量集合。 (3)子空间中任意的两组基都包含相同数目的向量 这个如何证明呢？ 1）假设子空间V中有两组基A和B，个数分别是k和p； 2）因为A是子空间中的基，所以B中的所有向量都可以表示成A中向量的线性组合，即有AC=B，C的列数为p，行数是k； 3）假设存在一个p维向量x使得Cx=0，所以ACx=Bx=0因为B是基，所以Bx=0的解只能是零向量，所以C也是线性无关的； 4）因为C中的列向量是k维的，p个k维的向量线性无关，所以一定有p<=k； 5）同理k<=p，所以最终k=p，即A和B中向量的个数是相同的。 (4)子空间V的基的向量的数量被称为V的维度(dimension) 10.3 判断一个集合是否为基 通过定义，我们可以判断一个集合是否为基，需满足两个条件，向量之间线性无关，同时能够张成空间V，前者容易判断，后者较难判断： 另一种思路，假设对于一个子空间V，我们已经知道它的维度为2，如果S是一个包含k个vector并且属于V的一个子集，那么如果 1）S中的向量线性无关，那么S是一个基 2）S能够张成空间V，那么S是一个基 10.4 三种空间的基和维度 我们之前介绍过对于一个矩阵的三个空间，行空间、列空间以及零空间，他们的基以及维度都是多少呢？ A的列空间 A的列空间的基是主列组成的集合，维度就是主列的个数 A的零空间 A的零空间的的维度是Ax=0中自由变量的个数，基看下面的图片： A的行空间 A的行空间的维度是化简为简约行阶梯型之后非零行的个数，基就是简约行阶梯型中先导元素所在的行所组成集合。 这里我们可以得出一个结论，矩阵A和其转置的秩相等： 总结一下就是下面这样子啦： 11、坐标系 11.1 使用基表示向量 在n维空间中，我们可以使用基向量来表示坐标系，这样空间中的任意向量的坐标都确定了，但是对于同一向量，使用不同的坐标系，其坐标是不同的： 同理，在不同坐标系下，同一个坐标所代表的向量也不同： 当基确定时，一个向量的坐标也是唯一的，由于基之间是线性无关的，因此证明如下： 在某一坐标系 B 下，一个向量可以表示成其对应的坐标表示： 而我们最为常用的一种坐标系就是直角坐标系(Cartesian coordinate system)，通常表示如下： 那么根据任意坐标系以及某一向量在该坐标系下的坐标，如何得到该向量呢？很简单，该向量可以表示成基的线性组合，系数即为其坐标： 那么，如何得到某一向量在任意坐标系下的坐标，两边同乘B-1即可： 11.2 直角坐标系和其他坐标系的转换 其实我们的向量就是在直角坐标系下的坐标表示，所以其实直角坐标系和其他坐标系的转换我们上一节已经讲过： 11.3 坐标系与线性方程 我们之前所说的线性方程，都是相对于直角坐标系所说的，有时候有些问题直接在直角坐标系下进行求解并不容易，但是转换到另一坐标系下就会变得十分简单，这就得到了通过坐标系转换来求解问题的思路： 我们举个例子来说吧，如果下图中的T表示得到任意一个向量关于直线L的对称向量： 直接求解这个问题非常难，我们想要找的是一个矩阵A，使得T(x)=Ax，直线如果不是横轴或者纵轴的话，要找到这个矩阵A是十分困难的。但是如果直线是横轴或者纵轴的话，这个问题就变得非常简单。假设直线是横轴，那么要找的矩阵我们可以很容易写出： 所以我们可以通过坐标系变换，把直线L变成横轴，那么问题就简单了： 所以我们在直角坐标系下的这个变换矩阵A也就找到了，此时我们可以称两个坐标系下的变换矩阵是 相似矩阵(Similar matrices) ： 假设直线L为y=0.5x，那么求解过程如下： 12、特征值和特征向量 12.1 什么是特征值和特征向量 好了，在写这一节之前，我们看来想一下上一节的东西，我们说一个直角坐标系下的向量v， 其在另一个坐标系下的坐标表示为Bv，这个B是该坐标系下的基所做成的矩阵，所以说 矩阵可以表示一种线性变换(Linear Transformation) ，它将一个向量在直角坐标系下的坐标表示转换为另一坐标系下的坐标表示！ 我们知道，任意非零向量都可以张成一条直线，有的向量在一个矩阵A作用后，偏离了其所张成的空间；但有的向量在矩阵A作用后，还是在原有张成的空间，矩阵A只是对该向量起到了一定的伸缩作用，那么我们就说该向量是矩阵A的 特征向量(Eigenvector) ，而这个伸缩作用的大小我们就称为 特征值(Eigenvalue) 。所以我们知道，该向量所张成空间中的所有向量(零向量除外)都是该矩阵的特征向量。下面的例子中，经过变换后横轴没有发生变化，所以横轴的向量都是特征向量，特征值为1。 好了，我们可以给出特征值和特征向量的定义了： 12.2 如何计算特征向量 假设我们已经知道了特征值λ，我们可以根据Av=λv求解其对应的特征向量： 而某一特征值λ的 特征空间(Eigenspace) 定义为(A-λIn)v=0的解集： Eigenspace也可以说是λ所对应的特征向量再加上零向量(特征向量不能是零向量) 12.3 检查一个标量是否为特征值 检查一个标量是否为特征值，只需要判断其对应的特征空间是否只有零向量即可： 12.4 计算特征值 如果一个标量是矩阵A的特征值，那么他会满足下面所有的条件： 那么如何计算一个矩阵的特征值呢，这里要使用 特征多项式(Characteristic Polynomial) ，特征值是特征多项式的根。即： 举个例子： 这里我们可以得到一个性质，两个相似矩阵的特征值是相同的，证明如下： 那么一个n阶方阵有多少特征值呢？最多n个。如果一个n阶方阵有n个特征值(包括重复值)，那么这n个特征值的的和等于矩阵的迹(trace,即矩阵主对角线的元素之和)，同时，这n个特征值的乘积等于矩阵的行列式。 对特征多项式进行因式分解，我们可以得到如下重要的结论，一个特征值对应的特征空间的维度，小于等于该特征值重复出现的次数。 举例来说： 12.5 正定矩阵&半正定矩阵 如果一个矩阵的所有特征值都大于0，那么这个矩阵被称为 正定矩阵(positive definite matrix) ，如过特征值都大于等于0，则称为 半正定矩阵 。 那么正定或者半正定矩阵的含义是什么呢？这里我们以正定矩阵为例。我们知道一个矩阵的A代表一种线性变化，那么如果一个矩阵是正定的，就有xTAx>0,假设x在经过A的变换后变为y，那么xTy>0，即x和y的内积大于0,或者说夹角小于90度。所以正定矩阵的直觉代表一个向量经过它的变化后的向量与其本身的夹角小于90度。 13、对角化 13.1 可对角化 如果一个n阶方阵A可以变为A=PDP-1,其中D是n阶对角矩阵，P是n阶可逆方阵，那么A就是 可对角化的(diagonalizable) 。但并非所有的矩阵都可以进行对角化： 如果A是可对角化的，那么P中的列向量是A的特征向量，D中对角线元素是A的特征值，证明如下： 同时，我们可以得到如下结论： 13.2 可对角化的性质 本节我们介绍几个重要的性质， 1)不同特征值对应的特征向量之间线性无关。 2)如果一个矩阵A可对角化，那么其特征值对应的特征空间的维度，等于该特征值重复出现的次数。 3)如果一个矩阵A可对角化，那么Am= PDmP-1。 我们首先来看第一个性质： 我们可以假设他们之间线性相关来进行反证： 再来看第二个性质： 14、正交 14.1 范数和距离 我们常用 范数(Norm) 来表示矩阵的长度，其中最常用的是二范数： 两个向量的距离，我们使用的一般是欧式距离： 14.2 点积和正交 点积(Dot Product) 的计算如下： 两个向量是 正交的(Orthogonal) ，如果两个向量的点积是0，那么零向量和任何向量都是正交的。 点积具有如下的性质： 同时，如果两个向量是正交的，那么有如下性质： 在三角形中，我们有著名的三角不等式，两条边长度之和大于第三条边的长度，所以我们有： 14.3 正交补 对于一个非空的向量集合S，该集合的 正交补(Orthogonal Complement) 定义为： 关于正交补，我们有如下性质： 本文目录 1、线性系统Linear System 2、Vectors、Matrices 2.1 向量Vectors 2.2 矩阵Matrix 2.3 矩阵与向量相乘 3、线性方程组有解么？ 3.1 线性方程组 3.2 线性组合Linear Combination 3.3 张成的空间Span 4、线性方程组有多少个解 4.1 线性相关和线性无关 4.2 秩Rank 5、求解线性方程组 5.1 初等行变换 5.2 简化行阶梯形式Reduced Row Echelon Form 5.3 满秩 6、矩阵乘法 6.1 矩阵乘法的含义 6.2 矩阵乘法的性质 6.3 分块矩阵乘法 7、逆矩阵 7.1 什么是矩阵的逆 7.2 初等矩阵 7.3 什么矩阵是可逆的？ 7.4 求解一个矩阵的逆 8、行列式 8.1 什么是行列式？ 8.2 行列式的性质 8.3 行列式的计算 9、子空间 9.1 子空间 9.2 零空间 9.3 列空间和行空间 10、基Basis 10.1 什么是基Basis 10.2 基的特性 10.3 判断一个集合是否为基 10.4 三种空间的基和维度 11、坐标系 11.1 使用基表示向量 11.2 直角坐标系和其他坐标系的转换 11.3 坐标系与线性方程 12、特征值和特征向量 12.1 什么是特征值和特征向量 12.2 如何计算特征向量 12.3 检查一个标量是否为特征值 12.4 计算特征值 12.5 正定矩阵&半正定矩阵 13、对角化 13.1 可对角化 13.2 可对角化的性质 14、正交 14.1 范数和距离 14.2 点积和正交 14.3 正交补 14.4 正交投影 14.5 如何做正交投影 14.6 正交投影的应用-求解线性回归 14.7 正交基 14.8 正交矩阵 14.9 对称矩阵 15、奇异值分解 15.1 什么是奇异值分解？ 1、线性系统Linear System 一个线性系统满足两个条件：Persevering Multiplication和Persevering Addition。 Persevering Multiplication Persevering Addition 多元线性方程组是一个线性系统 。 2、Vectors、Matrices 2.1 向量Vectors 向量是一堆数的集合，分为列向量和行向量，本文中，向量默认是列向量，行向量用其转置表示。 向量与标量相乘 ，每一维都与该标量相乘： 向量相加 ，使用平行四边形法则： 零向量 ：所有维度的值都为0： 标准向量 ：一个维度是1，其余维度是0: 向量集 ：可以包含有限个或无限个向量： Rn : 所有的n维向量组成的向量集合 2.2 矩阵Matrix 矩阵是一组向量： 如果矩阵有m行和n列，我们就说矩阵的大小为m*n，如果m=n，我们称为方阵（square matrix）。 矩阵的元素下标表示，先行后列： 矩阵与标量相乘 ：每一个元素分别与该标量相乘。 矩阵相加 ：两个矩阵的形状必须一致，同位置的元素分别相加。 零矩阵 ：所有元素均为0的矩阵。 单位矩阵Identity matrix ：必须是方阵，对角线元素为1，其余为0，用In表示n*n的单位矩阵。 同形状的矩阵的一些运算法则 ： 矩阵的转置 ：沿左上到右下的对角线为轴进行翻转，将(i,j)位置的元素与(j,i)位置的元素互换得到的矩阵，转置的矩阵用AT表示。 矩阵转置的一些运算规则 ： 2.3 矩阵与向量相乘 矩阵和向量相乘，结果如下： 从行的角度来看矩阵和向量相乘 ：从行的角度看，矩阵A和向量x相乘，其结果是矩阵的A的每一行与向量x做点积(dot product,后面再介绍) 的结果。 从列的角度来看矩阵和向量相乘 ：从列的角度看，矩阵A和向量x相乘，相当于对矩阵A的列向量做了一次线性组合。 因此，无论从行角度还是列角度，矩阵A的列数要与向量x的维数相同。 矩阵和向量相乘的一些性质 ： 如果A和B都是m*n的矩阵，对所有的w，如果都有Aw=Bw，那么是否意味着A=B。结果是显然的。既然是所有的w，那么我们用标准向量就可以得到A和B的每一列都是相同的，因此A=B。 3、线性方程组有解么？ 3.1 线性方程组 对于一个线性方程组，我们可以写成矩阵和向量相乘的形式： 对于一个线性方程组，其解的情况可能是无解，有唯一解或者有无穷多个解。我们把所有的解的集合称为 解集(solution set) 如果线性方程组有解，我们就称其为 相容的(consistent) ，若无解，则称为 不相容的(inconsistent) 。 3.2 线性组合Linear Combination 线性组合是一个操作，将各个向量缩放之后，相加在一起，就得到了参与操作的向量之间的线性组合。 所以线性方程组的问题可以转变成：b是否可以表示成A中列向量的线性组合？ 举几个例子： 通过观察上面的例子，你可能会想，在二维平面中，是不是只要两个向量不平行，就一定有解？答案是肯定的，但有解时两个向量不一定平行，因为目标向量也可能跟它们平行。 3.3 张成的空间Span 对于一个向量集S，其向量的所有线性组合组成的向量集V，称为 Span(S) ，也被称为 S张成的空间 。 举几个二维空间中的例子吧，如果S中只有零向量，那么其张成的空间也只有零向量。 如果S中包含一个非零向量，那么其张成的空间是一条直线： 如果一个向量集包含两个不平行的非零向量，那么其可以张成整个二维平面： 所以一个线性方程组的问题又可以转换成两一个等价的问题：向量b是否在A的列向量所张成的空间中？ 4、线性方程组有多少个解 在上一节中，我们知道了如果b可以表示成A中列向量的线性组合或者b在A的列向量所张成的空间中，那么线性方程组有解，否则无解。但是，有解的情况下是唯一解还是多个解呢？我们还不知道。 4.1 线性相关和线性无关 给定一个向量集，如果其中一个向量可以表示成其余向量的线性组合，那么我们就说这组向量是 线性相关(Linear Dependent) 的。值得注意的是，零向量是任意向量的线性组合，因此只要包含零向量的向量集，都是线性相关的。 线性相关还有另一种定义，即可以找到一组非全零的标量，使得线性组合为零向量。 与之相对应，如果无法找到一组非全零的标量，使得线性组合得到零向量，那么这组向量就是 线性无关的(Linear Independent) ： 判断向量集是线性无关还是线性相关，其实就是看一个 齐次方程(Homogeneous Equations) 有无非零解： 由此，对于Ax=b，我们可以得到两个结论：如果A的列是线性相关的，且Ax=b有解，那么，它有无穷多个解；如果Ax=b有无穷多个解，那么A的列是线性相关的： 4.2 秩Rank 矩阵的秩(Rank) 定义为线性无关的列的最大数目： 矩阵的零化度(Nullity) 是矩阵的列数减去矩阵的秩： 也就是说，如果一个m*n的矩阵，其秩为n的话，它的列是线性无关的： 所以总结一下线性方程组的解的相关问题： 5、求解线性方程组 5.1 初等行变换 如果两个线性方程组的解集是相同的，我们就称它们是等价的(equivalent)。 对线性方程组做以下三种操作可以得到等价的方程组： 1）交换两行 2）对其中一行变为k倍 3）将一行的k倍加到另一行上 上面的三种操作我们也称为 初等行变换(elementary row operations) 这里我们介绍一下 增广矩阵(Augmented Matrix) ，即将A和b进行横向拼接： 因此，通过初等行变换，如果我们能够将增广矩阵转换为一个相对简单的形式，那么我们可以很快的得出最终的解。 5.2 简化行阶梯形式Reduced Row Echelon Form 我们首先介绍行阶梯形式的矩阵，它满足两个条件，首先是非零行要在全零行的上面，其 先导元素(leading entries，每行的第一个非零元素) 按阶梯型排列： 在上述两个条件的基础上，如果先导元素所在的列都是标准向量的话，那么它就是 简化行阶梯形式Reduced Row Echelon Form ： 下面的矩阵不是简化行阶梯形式： 而下面的矩阵是简化行阶梯形式： 根据简化行阶梯形式，我们很容易得到线性方程组的解的形式。 如果简化行阶梯形式是[I;b']的，那么线性方程组有唯一解： 下面的例子是有无穷多个解的情况，可以看到，第1、3、5列是包含先导元素的标准向量，其对应的变量也称为基本变量，而第2、4个变量被称为自由变量： 下面的例子是无解的情况，先导元素出现在了最后一列： 通过将增广矩阵化简为简约行阶梯形式，进而求解线性方程组解的方法，我们称之为 高斯消元法(Gaussian Elimination) 接下来，我们来看一下简约行阶梯型形式的一些性质： (1)化简为简约行阶梯型形式之后，列之间的关系不变 也就是说， 初等行变换不改变矩阵中列之间的关系 。加入A的简约行阶梯形式是R，那么Ax=0和Rx=0有相同的解集。 但是对于行来说，行阶梯形式改变了行之间的关系，比如原先两行是两倍的关系，其中一行变为二倍之后，二者就相等了，关系自然改变了。 (2)简约行阶梯形式改变了矩阵列所张成的空间 举个简单的例子就能理解，假设一个矩阵是[[1,2],[2,4]]，它所张成的空间是y=2x，化简后得到[[1,0],[0,0]]，此时所张成的空间却是整个平面。但是没有改变行所张成的空间。 (3)先导元素所在的列线性无关，其他列是这些列的线性组合 先导元素所在的列，在原矩阵中被称为 主列(pivot columns) ,这些列是线性无关的，其他列可以有主列的线性组合得到。 (4) 矩阵的秩等于主列的个数，等于简约行阶梯型里非0行的个数 根据这个性质，我们可以得到矩阵的秩的一个性质： Rank(A) <= Min(Number of columns,Number of rows) 因为秩等于主列的个数，所以秩一定小于等于列的个数，因为秩等于简约行阶梯型中非零行的个数，所以秩一定小于等于矩阵行的个数。 有这个性质我们还可以得出两个简单的结论： 对于m*n的矩阵A，如果m 线性代数知识点归纳有线性方程组是线性代数的核心，线性方程组是一个或几个包含相同变量x1，x2，xn的线性方程组成的，方程组所有可能的解的集合称为线性方程组的解集。两个线性方程组若有相同的解集，则称为等价的。 线性方程组的解法思路是把方程组用一个更容易解的等价方程组（既有相同解集）代替、用方程序第一个含x1的项消去其他方程组x1的项，然后用第二个含x2的项消去其他含x2的项，以此类推，他有三个性质：倍加变换、对换变换、倍乘变换。 线性代数介绍 线性代数是关于向量空间和线性映射的一个数学分支，包括对线、面和子空间的研究，也涉及到所有向量空间的一般性质。 线性代数是纯数学和应用数学的核心，它的含义随着数学的发展而不断扩大，其理论和方法已经渗透到数学的许多分支，也成为理论物理和理论化学不可缺少的代数基础知识。 线性代数是代数学的一个分支，主要处理线性关系问题。线性关系意即数学对象之间的关系是以一次形式来表达的。 例如，在解析几何里，平面上直线的方程是二元一次方程；空间平面的方程是三元一次方程，而空间直线视为两个平面相交，由两个三元一次方程所组成的方程组来表示。含有n个未知量的一次方程称为线性方程。 关于变量是一次的函数称为线性函数。线性关系问题简称线性问题。解线性方程组的问题是最简单的线性问题。 线性代数自考最重要的部分是矩阵，行列式和线性方程组。 线性代数学习方法 1.重点标记记忆法 拿一个笔记本，并在学习时标记重要和困难的知识，并在以后的考试前将其加以整理和巩固。在进行练习和测验时，要根据他们的薄弱和容易出错的知识点，补充并校对前一时期的笔记，以进一步加深对知识点的理解。 2.思维导图法 在自学考试的中间，您可以适当地不遵循教科书各章的顺序，而是整理整本教科书的逻辑结构，并建立整本教科书的思维导图，这对您有帮助更好地理清每个章节和每个测试站点之间的差异。关系，加强对整本书的理解，从而系统地记住这些知识点。 3.拓展解决问题的方法 刷题不仅是对数量的追求，而且还是质量。进行多项选择题时，您应该整体考虑问题中包含哪些知识点，这些知识点之间的关系是什么以及考试中可能出现什么样的扩展内容（例如变形的问题）。这个问题可以帮助您相互推论，并达到一个问题比多个问题更好的效果，但是可以提高您做问题的效率。 4.交流互助方法 对于自考学员来说，有学员的陪伴真的很重要。加入自考交流小组，与其他学员进行交流，讨论，提出问题并回答问题。在此过程中，您可以巩固知识点并理解测试题的思想，这将使您更加牢记，学习起来更有趣！ 5.换位思考法 在准备自我检查的过程中，我们可以尽量不要将自己视为“学生”或“考生”，而偶尔将自己置于“老师”和“考官”的位置，并思考为什么考官应该提出这样的问题吗？您想达到什么样的目的？您想检查哪些知识点？什么样的答案格式可以使他们更愿意给出分数？如果您主动考虑考官的想法，则不会在很大程度上失去分数。 六，角色切换方法 自学考试的某些专业实际上与工作实践密切相关。例如，会计专业将涉及会计从业人员在工作中遇到的一些常见问题。运用所学知识，如果您可以代替自己成为专业从业人员，并将问题视为工作中的实际问题，您将能够更好地理解测试现场，拥有深刻的记忆，并且您不会忘记测试。 七，交叉申请方法 自学还要求全面应用多方面，多学科的知识系统。学会交叉应用知识点来辅助课程学习，它也可以应用于多个学科，这将对本课程的学习产生越来越大的积极影响。 8.古典制导法 如果您在自考回答问题时遇到很多困惑，也可以尝试这种方法。使用您过去熟悉的经典主题的理论知识，常识知识，逻辑和心理学，即使您没有研究相关的考试地点，也可以做出正确的判断。自考/成考有疑问、不知道如何总结自考/成考考点内容、不清楚自考/成考报名当地政策，点击底部咨询官网，免费领取复习资料： 线性代数知识点有线性方程组是线性代数的核心。 线性方程组由一个或多个包含相同变量x1，X2，。。。，xn。方程组的所有可能解的集合称为线性方程组的解集合。如果两个线性方程组具有相同的解集，则称之为等价解。 线性代数中所体现的几何概念与代数方法的关系、从具体概念中抽象出来的公理化方法、严密的逻辑推导和巧妙的归纳与综合，对于加强人们的数学训练和获得科学智能是非常有用的。 2.现代线性代数已经扩展到研究任意或无限维空间。维数为n的向量空间称为n维空间。二维和三维空间中最有用的结论可以推广到这些高维空间。虽然许多人不容易想象n维空间中的向量，但这样的向量（即n元组）非常有效地表示数据。作为n元组，向量是n个元素的“有序”列表。大多数人可以在这个框架中有效地总结和操作数据。 湖南线性代数经管类自考教材的重点章节如下： 第1章 行列式按行（列）展开 行列式的性质与计算 35%，克拉默法则 第2章 矩阵 13% 2-1 矩阵运算 10%，2-2 方阵的逆矩阵 5%，2-3 分块矩阵，2-4 矩阵的初等变换与初等方阵 5%，2-5 矩阵的秩，2-6 矩阵与线性方程组 16% 第3章 向量空间 3-1 n维向量的概念及其线性运算10 %，3-2 线性相关与线性无关 2%，3-3 向量组的秩，3-4 向量空间 第4章 线性方程组，齐次线性方程组，非齐次线性方程组，特征值与特征向量 第五章 5-1 特征值与特征向量 5%，5-2 方阵的相似变换，5-3 向量内积和正交矩阵 5%，5-4 实对称矩阵的相似标准形 第6章 实二次型 6-1 实二次型扱其标准形，6-2 正定二次型和正定矩阵 复习建议 1、有总体的把握，对教材阐述的基本原理才能认真领会。在此基础上，应进一步有重点地深入学习，即对整个学科中的一些重要理论，要重点学习和掌握，要弄懂弄通，能用自己的语言复述出来，能用一些事例来加以解释和说明。比如劳动价值论和剩余价值论就是本课程中的两个重点理论，学好这部分理论，对其他理论的学习和理解有直接的帮助。 2、此外，对学习中的难点和疑点，要尽量弄清楚，一方面可以在反复自学和联系性思考中，对难点、疑点逐步解难释疑。 3、另一方面，还可通过助学、辅导来解决自己搞不懂的问题。辅导读物一般都对重点理论进行了归纳，以利于考生掌握各章节的重点，可通过对这些重点问题的简要归纳来加强记忆。许多辅导书还有一定数量的与国家自学考试题型相同的模拟试题，通过阅读和试做这些模拟试题，能加深考生对书中内容的理解，帮助考生加强记忆，并使考生熟悉自学考试的题型。可在系统地学习了这门课程的情况下，做一两份与实际考试题型和试卷结构相同的模拟考题，通过这种方式进行一下综合自测，从而发现哪些问题还没弄清楚，哪些方面还学得不扎实或记得不牢，然后再结合教材、辅导材料和参考答案，反复加深印象，达到全面复习、掌握课程内容的目的。 4、在认真读书的基础上，还可利用考试大纲来检验和加深对教材也即整个理论的理解。考试大纲是编写教材和命题的依据，大纲明确列出了各章节的课程内容、考核知识点和考核要求。对课程内容，大纲只列了要点，可以此为线索回忆教材是如何分析的。大纲所列考核知识点和考核要求，是考试命题所要测试的范围，如果对某些知识点印象不深或理解不透，则说明这部分内容自学还有欠缺，要通过再重复读教材，或求助于一些辅导材料等方式，把这些问题弄懂。自考/成考有疑问、不知道如何总结自考/成考考点内容、不清楚自考/成考报名当地政策，点击底部咨询官网，免费领取复习资料：线性代数自考知识点汇总图片
线性代数自考知识点汇总图表
线性代数自考知识点汇总图解
线性代数自考知识点汇总