偏最小二乘法法中各字母所代表的含义

来源：蜘蛛抓取(WebSpider) 时间：2015-03-25 14:02 标签： 最小二乘法曲线拟合
来源： 作者：徐章韬;
从最小二乘法看方差的定义
1引言 作为一门独立的、正式的学科,统计学历史发展是复杂的,出现得相对迟些(17世纪~18世纪).统计学的发展经由了以下两条道路:(1)搜集、整理、描述、显示和分析与社会物理间题相关的各种数据的需要;(2)研究机会问题,试图理解“随机”的含义,结果萌发了基本的概率观念.方差的定义是从(2)的角度定义的,反映的是随机变量右相对于其均值珊的偏离程度,为了避免正负偏差相互抵消(事实上E“一联)~决一Ee一。),这种偏差用平方项(右一及)2来描述.但(泞一E日2也是一个随机变量,因此取其数学期望,反映“平均说来”这种偏差程度的大小.“平均说来”是一种“统计观点”.这里至少有两个疑问:为什么是与均值E奋的差,而不是与其他值的差?虽然为了避免正负偏差相互抵消,的确可以用平方项来描述,但能不能用}奋一及}来描述呢?萧树铁在一份高等数学教学改革报告中要求:“讲推理,更要讲道理.”历史是一份资源宝库,能提供许多与学科有关的问题供人们思考.用历史素材作比较,其理几乎不辨自明.阿贝尔说:“一个人如果想要在数学上有所进步,就必须向大师学习.”比较历史上大师们对最小二乘法的思考,可......(本文共计2页)
　　　　　　　
　　　　　　　　　&
相关文章推荐
《佳木斯大学学报(自然科学版)》2009年05期
中学数学教学参考
主办：陕西师范大学
出版：中学数学教学参考杂志编辑部
出版周期：半月
出版地：陕西省西安市物理实验之最小二乘法 | 怎样学习大学物理小组 | 果壳网 科技有意思
3592人加入此小组
物理实验中，数据处理经常用到最小二乘法。当然最小二乘法用手算的话好麻烦啊。大家可能已经知道最小二乘法是什么了，这里也不多说了，就简单提一下。一、最小二乘法原理线性的最小二乘法是用来产生最能代表一组数据的一个一次函数，这里说的是最好的拟合，而不是完美的拟合。例如这样一个例子：这里有三个数据点，A(x1,y1)，B(x2,y2)，C(x3,y3)。我们要找一条最能够代表这三个点的直线。那如何找呢？我们的想法是要使得误差最小。可是什么是误差？怎么代表误差？假设我们现在已经把这条线找到了，比如是 y = f(x)。那么如果 A 点相对于直线的误差是不是可以用 A' 和 A 的纵坐标之差来表示？这样我们把所有的三个点的这些误差加起来，是不是就可以代表所有点的总的误差呢？这里有个问题，但看一个点，这个方法没有问题，但是如果是很多点，那么这个差值有正有负，加起来就可能会有相互抵消的。所有呢，我们的办法是求这些误差的平方和。那么最小二乘法就是要这个误差最小。Least squares 就是说要这个带 squares 的式子最小。至于如何使得这个最小，至少有两种方法。一种是直接用微积分的知识，对所有未知的参量求偏导数并设为零，就可以求出参量了。另一种方法是用线性代数的方法，就是利用往空间上投影的方法。当然，两种方法都是课本上的公式了，具体求解的话，也就是要带公式了。不过呢，要是这个帖子只说这点内容，就没啥意义了对吧。所以最好能讨论一下从线性代数的角度，或者说从几何的角度来看最小二乘法。最小二乘法是要找到一条直线， y = c + d x。这样的话，我们把数据带进去，就会形成系列方程组，可以写成矩阵的样子：但是，要知道，我们只有两个待定系数，所以这是过度确定的。一般是无解的。这就是我们前面说最小二乘法是在找最好的拟合，而不是完美的拟合的原因。那么我们要怎么做呢？现在有一组纵轴的数据，这组数据呢，就是一个 n 维空间的一个矢量。而系数矩阵呢，就像一个参考空间。我们要做的呢，就是要把这个 n 维空间的矢量的末端到这个参考空间上的投影，这个投影就是最合适的拟合，也就是我们的最小二乘法的精要。做个比喻。这就好比说我们有个平面，如果我们的数据是完全线性的，那么所有的数据都会落在这个平面内，但是，实际情况可能有所偏差，是的代表所有数据的点脱离了这个平面，那我们要找的那条曲线是什么呢？那自然是代表所有数据在这个点（或者说从起点出发的矢量）在这个平面内的投影啦！但，这不能算啊？我们要找到的是 c，d 的值啊？怎么算呢？我们还有个里面我们给 c 和 d 加了帽了~ 有帽表示这个只是个最好的拟合，但不一定是完美的~那这些之间有什么关系呢？我们可以看前面的等式，比如用 A 表示系数矩阵，用 M 表示要求解的两个参数（戴帽子哦）矩阵，还有一个 b 表示所有的代表纵坐标的数据矩阵。好啦，书上说我们要求解的方程是为嘛呢？我们做个变化好嘛，这样就可以理解几何意义了。因为这里面右边的是一个投影算符作用在了 b 上！太好了，投影算符的作用就是把 b 在 A 空间内投影！这样数学就跟我们上面的意义的描述结合起来啦。所以对于最小二乘法，我们要做的是解这样一个矩阵方程不过这个跟用微积分做是一样的，方程组一样，结果更一样。只是这样可以看到一点从微积分来理解看不到的东西。二、软件处理好了，最实用的部分。如何用软件快速的来做最小二乘法的拟合呢？我想大学里面可能教大家最多的是用 Origin，Sigmaplot 甚至 Excel 之类的软件来做的。挺好的，总之能做出来就成。这些软件里面呢，用的最广的应该是 Origin，但是我更喜欢 Sigmaplot，因为 Sigmaplot 做出来的图不需要做很大的调整就挺好看的，多图排版什么的也很容易。作图嘛，漂亮太重要了。但是这里我们要说的不是 Sigmaplot，而是一款很多人听说过但是没用过的软件，Mathematica。可能有人要问，为什么我要用 Mathematica 这么专业的软件啊？说实话，Mathematica 这几年发展下来，已经不算是一款专业软件了，它上手快，用起来简单而优雅。甚至 Mathematica 都有了 Home 版了！（这…… ）关于 Mathematica 的函数f作图呢？参考
这篇文章。但数据处理这部分需要比较长的篇幅，所以请看怎样学高数小组的这篇吧：REFERENCE：
+ 加入我的果篮
我想知道用Mathematica做最小二乘法的公式是啥
赞楼主，纯原创啊！
公式都是叉叉，求助！
(C)2013果壳网&京ICP备号-2&京公网安备统计学练习题和答案_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
评价文档：
喜欢此文档的还喜欢
统计学练习题和答案
阅读已结束，如果下载本文需要使用
想免费下载本文？
把文档贴到Blog、BBS或个人站等：
普通尺寸(450*500pix)
较大尺寸(630*500pix)
你可能喜欢最小二乘法怎样算以及含义_百度作业帮
最小二乘法怎样算以及含义
pX=Y,在p误解情况下的最优解；p=[（x(转置)*x)(结果取逆) *x(转置)] *y 中括号里面的叫做X的近似逆运算（pseudo inverse）；含义的话你可以结合几何理解下,两向量乘积（p,X,确定一个平面o）,结果要和另外一条向量重合（Y）,但是Y不在平面o上,所以无解,现在我要找一条和Y误差最接近的向量,其实就是Y在平面o的投影L.ps 上面那个公式可以转化成min{Y-L},即求error的最小值情况下p的取值->求导[数学]最小二乘法第三章 最小二乘法（一）
一元线性回归
问题的提出——必要性
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
[数学]最小二乘法
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='/DocinViewer-4.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口

我要回帖

更多关于 最小二乘法曲线拟合 的文章

 

随机推荐