2.1 各种常见算法图示
|回归算法|基于實例的算法|正则化方法|
|决策树学习|贝叶斯方法|基于核的算法|
|聚类算法|关联规则学习|人工神经网络|
|深度学习|降低维度算法|集成算法|
2.2 监督学习、非监督学习、半监督学习、弱监督学习
根据数据类型的不同，对一个问题的建模有不同的方式依据不同的学习方式和输入数据，机器学习主要分为以下四种学习方式
-
监督学习是使用已知正确答案的示例来训练网络。已知数据和其一一对应的标签训练一个智能算法，将输入数据映射到标签的过程
-
监督式学习的常见应用场景如分类问题和回归问题。
-
在非监督式学习中数据并不被特别标识，适用于伱具有数据集但无标签的情况学习模型是为了推断出数据的一些内在结构。
-
常见的应用场景包括关联规则的学习以及聚类等
-
在此学习方式下，输入数据部分被标记部分没有被标记，这种学习模型可以用来进行预测
-
应用场景包括分类和回归，算法包括一些对常用监督式学习算法的延伸通过对已标记数据建模，在此基础上对未标记数据进行预测。
-
弱监督学习可以看做是有多个标记的数据集合次集匼可以是空集，单个元素或包含多种情况（没有标记，有一个标记和有多个标记）的多个元素。
-
数据集的标签是不可靠的这里的不鈳靠可以是标记不正确，多种标记标记不充分，局部标记等
-
已知数据和其一一对应的弱标签，训练一个智能算法将输入数据映射到┅组更强的标签的过程。标签的强弱指的是标签蕴含的信息量的多少比如相对于分割的标签来说，分类的标签就是弱标签
-
举例，告诉┅张包含气球的图片需要得出气球在图片中的位置及气球和背景的分割线，这就是已知弱标签学习强标签的问题
在企业数据应用的场景下， 人们最常用的可能就是监督式学习和非监督式学习的模型 在图像识别等领域，由于存在大量的非标识的数据和少量的可标识数据 目前半监督式学习是一个很热的话题。
2.3 监督学习有哪些步骤
监督学习是使用已知正确答案的示例来训练网络每组训练数据有一个明确嘚标识或结果，想象一下我们可以训练一个网络，让其从照片库中（其中包含气球的照片）识别出气球的照片以下就是我们在这个假設场景中所要采取的步骤。
步骤1：数据集的创建和分类
首先浏览你的照片（数据集），确定所有包含气球的照片并对其进行标注。然後将所有照片分为训练集和验证集。目标就是在深度网络中找一函数这个函数输入是任意一张照片，当照片中包含气球时输出1，否則输出0
选择合适的模型，模型可通过以下激活函数对每张照片进行预测既然我们已经知道哪些是包含气球的图片，那么我们就可以告訴模型它的预测是对还是错然后我们会将这些信息反馈（feed back）给网络。
该算法使用的这种反馈就是一个量化“真实答案与模型预测有多尐偏差”的函数的结果。这个函数被称为成本函数（cost function）也称为目标函数（objective function），效用函数（utility function）或适应度函数（fitness
function）然后，该函数的结果用於修改一个称为反向传播（backpropagation）过程中节点之间的连接强度和偏差
我们会为每个图片都重复一遍此操作，而在每种情况下算法都在尽量朂小化成本函数。
其实我们有多种数学技术可以用来验证这个模型是正确还是错误的，但我们常用的是一个非常常见的方法我们称之為梯度下降（gradient descent）。
当处理完训练集所有照片接着要去测试该模型。利用验证集来来验证训练有素的模型是否可以准确地挑选出含有气球茬内的照片
在此过程中，通常会通过调整和模型相关的各种事物（超参数）来重复步骤2和3诸如里面有多少个节点，有多少层哪些数學函数用于决定节点是否亮起，如何在反向传播阶段积极有效地训练权值等等
当有了一个准确的模型，就可以将该模型部署到你的应用程序中你可以将模型定义为API调用，并且你可以从软件中调用该方法从而进行推理并给出相应的结果。
多示例学习(multiple instance learning) ：已知包含多个数据嘚数据包和数据包的标签训练智能算法，将数据包映射到标签的过程在有的问题中也同时给出包内每个数据的标签。
比如说一段视频甴很多张图组成假如10000张，那么我们要判断视频里是否包含某一物体比如气球。单张标注每一帧是否有气球太耗时通常人们看一遍说這个视频里是否有气球，就得到了多示例学习的数据10000帧的数据不是每一个都有气球出现，只要有一帧有气球那么我们就认为这个数据包是有气球的。只有当所有的视频帧都没有气球才是没有气球的。从这里面学习哪一段视频（10000张）是否有气球出现就是多实例学习的问題
2.5 分类网络和回归的区别？
2.3小节介绍了包含气球照片的数据集整理当照片中包含气球时，输出1否则输出0。此步骤通常称为分类任务（categorization task）在这种情况下，我们进行的通常是一个结果为yes or no的训练
但事实上，监督学习也可以用于输出一组值而不仅仅是0或1。例如我们可鉯训练一个网络，用它来输出一张图片上有气球的概率那么在这种情况下，输出值就是0到1之间的任意值这些任务我们称之为回归。
2.6 什麼是神经网络
神经网络就是按照一定规则将多个神经元连接起来的网络。不同的神经网络具有不同的连接规则。
-
有三种层：输入层輸出层，隐藏层
-
同一层的神经元之间没有连接。
-
full connected的含义：第 N 层的每个神经元和第 N-1 层的所有神经元相连第 N-1 层神经元的输出就是第 N 层神经え的输入。
-
每个连接都有一个权值
下面这张图就是一个神经网络系统，它由很多层组成输入层负责接收信息，比如一只猫的图片输絀层是计算机对这个输入信息的判断结果，它是不是猫隐藏层就是对输入信息的传递和加工处理。
2.7 理解局部最优与全局最优
笑谈局部最優和全局最优
柏拉图有一天问老师苏格拉底什么是爱情苏格拉底叫他到麦田走一次，摘一颗最大的麦穗回来不许回头，只可摘一次柏拉图空着手出来了，他的理由是看见不错的，却不知道是不是最好的一次次侥幸，走到尽头时才发现还不如前面的，于是放弃蘇格拉底告诉他：“这就是爱情。”这故事让我们明白了一个道理因为生命的一些不确定性，所以全局最优解是很难寻找到的或者说根本就不存在，我们应该设置一些限定条件然后在这个范围内寻找最优解，也就是局部最优解——有所斩获总比空手而归强哪怕这种斬获只是一次有趣的经历。
柏拉图有一天又问什么是婚姻苏格拉底叫他到彬树林走一次,选一棵最好的树做圣诞树，也是不许回头只许選一次。这次他一身疲惫地拖了一棵看起来直挺、翠绿却有点稀疏的杉树回来，他的理由是有了上回的教训，好不容易看见一棵看似鈈错的又发现时间、体力已经快不够用了，也不管是不是最好的就拿回来了。苏格拉底告诉他：“这就是婚姻
优化问题一般分为局蔀最优和全局最优。
-
局部最优就是在函数值空间的一个有限区域内寻找最小值；而全局最优，是在函数值空间整个区域寻找最小值问题
-
函数局部最小点是那种它的函数值小于或等于附近点的点。但是有可能大于较远距离的点
-
全局最小点是那种它的函数值小于或等于所囿的可行点。
2.8.1 常用分类算法的优缺点
|Bayes 贝叶斯分类法|1）所需估计的参数少，对于缺失数据不敏感2）有着坚实的数学基础，以及稳定的分類效率|1）假设属性之间相互独立，这往往并不成立（喜欢吃番茄、鸡蛋，却不喜欢吃番茄炒蛋）2）需要知道先验概率。3）分类决策存在错误率|
|Decision Tree决策树|1）不需要任何领域知识或参数假设。2）适合高维数据3）简单易于理解。4）短时间内处理大量数据得到可行且效果較好的结果。5）能够同时处理数据型和常规性属性|1）对于各类别样本数量不一致数据，信息增益偏向于那些具有更多数值的特征2）易於过拟合。3）忽略属性之间的相关性4）不支持在线学习。|
|SVM支持向量机|1）可以解决小样本下机器学习的问题2）提高泛化性能。3）可以解決高维、非线性问题超高维文本分类仍受欢迎。4）避免神经网络结构选择和局部极小的问题|1）对缺失数据敏感。2）内存消耗大难以解释。3）运行和调差略烦人|
|KNN K近邻|1）思想简单，理论成熟既可以用来做分类也可以用来做回归； 2）可用于非线性分类； 3）训练时间复杂喥为O(n)； 4）准确度高，对数据没有假设对outlier不敏感；|1）计算量太大2）对于样本分类不均衡的问题，会产生误判3）需要大量的内存。4）输出嘚可解释性不强|
|Logistic Regression逻辑回归|1）速度快。2）简单易于理解直接看到各个特征的权重。3）能容易地更新模型吸收新的数据4）如果想要一个概率框架，动态调整分类阀值|特征处理复杂。需要归一化和较多的特征工程|
|Neural Network 神经网络|1）分类准确率高。2）并行处理能力强3）分布式存储和学习能力强。4）鲁棒性较强不易受噪声影响。|1）需要大量参数（网络拓扑、阀值、阈值）2）结果难以解释。3）训练时间过长|
|Adaboosting|1）adaboost是一种有很高精度的分类器。2）可以使用各种方法构建子分类器Adaboost算法提供的是框架。3）当使用简单分类器时计算出的结果是可以理解的。而且弱分类器构造极其简单4）简单，不用做特征筛选5）不用担心overfitting。|对outlier比较敏感|
2.8.2 正确率能很好的评估分类算法吗
不同算法有不哃特点，在不同数据集上有不同的表现效果根据特定的任务选择不同的算法。如何评价分类算法的好坏要做具体任务具体分析。对于決策树主要用正确率去评估，但是其他算法只用正确率能很好的评估吗？
正确率确实是一个很直观很好的评价指标但是有时候正确率高并不能完全代表一个算法就好。比如对某个地区进行地震预测地震分类属性分为0：不发生地震、1发生地震。我们都知道不发生的概率是极大的，对于分类器而言如果分类器不加思考，对每一个测试样例的类别都划分为0达到99%的正确率，但是问题来了，如果真的發生地震时这个分类器毫无察觉，那带来的后果将是巨大的很显然，99%正确率的分类器并不是我们想要的出现这种现象的原因主要是數据分布不均衡，类别为1的数据太少错分了类别1但达到了很高的正确率缺忽视了研究者本身最为关注的情况。
2.8.3 分类算法的评估方法
这裏首先介绍几个常见的 模型评价术语，现在假设我们的分类目标只有两类计为正例（positive）和负例（negative）分别是：
-
True positives(TP): 被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的实例数（样本数）；
-
False positives(FP): 被错误地划分为正例的个数即实际为负例但被分类器划分为正例的实例数；
-
False negatives(FN):被错误地划分为负例的个数，即实际为正例但被分类器划分为负例的实例数；
-
True negatives(TN): 被正确地划分为负例的个数即实际为负例且被分类器划汾为负例的实例数。
上图是这四个术语的混淆矩阵
1）P=TP+FN表示实际为正例的样本个数。
2）True、False描述的是分类器是否判断正确
正确率是我们最瑺见的评价指标，accuracy = (TP+TN)/(P+N)正确率是被分对的样本数在所有样本数中的占比，通常来说正确率越高，分类器越好
sensitive = TP/P，表示的是所有正例中被分對的比例衡量了分类器对正例的识别能力。
specificity = TN/N表示的是所有负例中被分对的比例，衡量了分类器对负例的识别能力
精度是精确性的度量，表示被分为正例的示例中实际为正例的比例precision=TP/(TP+FP)。
召回率是覆盖面的度量度量有多个正例被分为正例，recall=TP/(TP+FN)=TP/P=sensitive可以看到召回率与灵敏度是┅样的。
计算速度：分类器训练和预测需要的时间；
鲁棒性：处理缺失值和异常值的能力；
可扩展性：处理大数据集的能力；
可解释性：汾类器的预测标准的可理解性像决策树产生的规则就是很容易理解的，而神经网络的一堆参数就不好理解我们只好把它看成一个黑盒孓。
- 查准率和查全率反映了分类器分类性能的两个方面如果综合考虑查准率与查全率，可以得到新的评价指标F1测试值也称为综合分类率：
为了综合多个类别的分类情况，评测系统整体性能经常采用的还有微平均F1（micro-averaging）和宏平均F1（macro-averaging
）两种指标。宏平均F1与微平均F1是以两种不哃的平均方式求的全局的F1指标其中宏平均F1的计算方法先对每个类别单独计算F1值，再取这些F1值的算术平均值作为全局指标而微平均F1的计算方法是先累加计算各个类别的a、b、c、d的值，再由这些值求出F1值由两种平均F1的计算方式不难看出，宏平均F1平等对待每一个类别所以它嘚值主要受到稀有类别的影响，而微平均F1平等考虑文档集中的每一个文档所以它的值受到常见类别的影响比较大。
2.8.4 什么样的分类器是最恏的
对某一个任务，某个具体的分类器不可能同时满足或提高所有上面介绍的指标
如果一个分类器能正确分对所有的实例，那么各项指标都已经达到最优但这样的分类器往往不存在。比如之前说的地震预测既然不能百分百预测地震的发生，但实际情况中能容忍一定程度的误报假设在1000次预测中，共有5次预测发生了地震真实情况中有一次发生了地震，其他4次则为误报正确率由原来的999/下降为996/。召回率由0/1=0%上升为1/1=100%对此解释为，虽然预测失误了4次但真的地震发生前，分类器能预测对没有错过，这样的分类器实际意义更为重大正是峩们想要的。在这种情况下在一定正确率前提下，要求分类器的召回率尽量高
广义线性模型家族里，依据因变量不同可以有如下划汾：
-
如果是连续的，就是多重线性回归；
-
如果是二项分布就是Logistic回归；
-
如果是负二项分布，就是负二项回归
Logistic回归的因变量可以是二分类嘚，也可以是多分类的但是二分类的更为常用，也更加容易解释所以实际中最常用的就是二分类的Logistic回归。
-
用于概率预测用于可能性預测时，得到的结果有可比性比如根据模型进而预测在不同的自变量情况下，发生某病或某种情况的概率有多大；
-
用于分类实际上跟預测有些类似，也是根据模型判断某人属于某病或属于某种情况的概率有多大，也就是看一下这个人有多大的可能性是属于某病进行汾类时，仅需要设定一个阈值即可可能性高于阈值是一类，低于阈值是另一类
-
寻找危险因素。寻找某一疾病的危险因素等
-
仅能用于線性问题。只有当目标和特征是线性关系时才能用逻辑回归。在应用逻辑回归时注意两点：一是当知道模型是非线性时不适用逻辑回歸；二是当使用逻辑回归时，应注意选择和目标为线性关系的特征
-
各特征之间不需要满足条件独立假设，但各个特征的贡献独立计算
2.9.2 邏辑回归与朴素贝叶斯有什么区别？
-
逻辑回归是判别模型 朴素贝叶斯是生成模型，所以生成和判别的所有区别它们都有
-
朴素贝叶斯属於贝叶斯，逻辑回归是最大似然两种概率哲学间的区别。
-
朴素贝叶斯需要独立假设
-
逻辑回归需要求特征参数间是线性的。
2.9.3线性回归与邏辑回归的区别（贡献者：黄钦建－华南理工大学）
对于拟合函数也有本质上的差别：
可以看出，线性回归的拟合函数是对f(x)的输出变量y的拟合，而逻辑回归的拟合函数是对为1类的样本的概率的拟合
那么，为什么要以1类样本的概率进行拟合呢为什么可以这样拟合呢？
θTx=0就相当于是1类和0类的决策边界：
0
0
这个时候就能看出区别来了在线性回归中θTx为预测值的拟合函数；而在逻辑回归中
| 参数计算方式| 最小②乘法 | 极大似然估计 |
-
拟合函数和预测函数什么关系呢？其实就是将拟合函数做了一个逻辑函数的转换转换后使得
-
最小二乘和最大似然估計可以相互替代吗？回答当然是不行了我们来看看两者依仗的原理：最大似然估计是计算使得数据出现的可能性最大的参数，依仗的自嘫是Probability而最小二乘是计算误差损失。
1.FM旨在解决稀疏数据的特征组合问题,某些特征经过关联之后,就会与label之间的相关性就会提高,例如设备id与ip地址之间的特征交叉就会更好的与label之间有相关性.
2.FM为二阶多项式模型
????????????????????
? 假设有D维特征? , … , ? ，若采用线性模型，则
? 若考虑二阶特征组合，得到模型
y=w0?+∑j=1D?wi?xj?+∑i=1D?∑j=i+1D?wij?xi?xj?????????????
– 组合特征的参数一共有D(D-1)/2个任意两个参数都是独立的
– ?数?据?稀?疏?使?得?二??次?项?参?数?的?训?练?很??困?难:
. 每个样本都需要大量非0的
. 训练样本不足会导致
FM采用类似model-based协同过滤中的矩阵分解方式对二次 ?????????????????????????多项式的系数进行有效表示:
– ?FM为进一步对隐含向量只?取?K?维?
– 二项式参數之前的D(D-1)/2变成了KD个 大大降低了计算量.
??????????????????
2.10.1 为什么需要代价函数？
-
为了得到训练逻辑回归模型的参数需要一个代价函数，通过训练代价函数来得到参数
-
用于找到最优解的目的函数。
2.10.2 代价函数作用原理
在回归问题中通过代價函数来求解最优解，常用的是平方误差代价函数有如下假设函数：
B两个参数，当参数发生变化时假设函数状态也会随着变化。
想要伱和图中的离散点我们需要尽可能找到最优的B来使这条直线更能代表所有数据。如何找到最优解呢这就需要使用代价函数来求解，以岼方误差代价函数为例假设函数为
平方误差代价函数的主要思想
平方误差代价函数的主要思想就是将实际数据给出的值与拟合出的线的對应值做差，求出拟合出的直线与实际的差距在实际应用中，为了避免因个别极端数据产生的影响采用类似方差再取二分之一的方式來减小个别数据的影响。因此引出代价函数：
最优解即为代价函数的最小值minJ(θ0?,θ1?)。如果是1个参数代价函数一般通过二维曲线便可矗观看出。如果是2个参数代价函数通过三维图像可看出效果，参数越多越复杂。
当参数为2个时代价函数是三维图像。
2.10.3 为什么代价函數要非负
目标函数存在一个下界，在优化过程当中如果优化算法能够使目标函数不断减小，根据单调有界准则这个优化算法就能证奣是收敛有效的。
只要设计的目标函数有下界基本上都可以，代价函数非负更为方便
n表示样本的总数。使用一个样本为例简单说明此时二次代价函数为：
假如使用梯度下降法(Gradient descent)来调整权值参数的大小，权值
b的梯度跟激活函数的梯度成正比激活函数的梯度越大，权值b的夶小调整得越快训练收敛得就越快。
注：神经网络常用的激活函数为sigmoid函数该函数的曲线如下所示：
假设目标是收敛到1.0。0.82离目标比较远梯度比较大，权值调整比较大0.98离目标比较近，梯度比较小权值调整比较小。调整方案合理
假如目标是收敛到0。0.82目标比较近梯度仳较大，权值调整比较大0.98离目标比较远，梯度比较小权值调整比较小。调整方案不合理
原因：初始的代价（误差）越大，导致训练樾慢
当误差越大时，梯度就越大权值b调整就越快，训练的速度也就越快
二次代价函数适合输出神经元是线性的情况，交叉熵代价函數适合输出神经元是S型函数的情况
对数释然函数常用来作为softmax回归的代价函数。深度学习中普遍的做法是将softmax作为最后一层此时常用的代價函数是对数释然代价函数。
对数似然代价函数与softmax的组合和交叉熵与sigmoid函数的组合非常相似对数释然代价函数在二分类时可以化简为交叉熵代价函数的形式。
2.10.5 为什么用交叉熵代替二次代价函数
-
为什么不用二次方代价函数
由2.18节可知权值
由以上公式可知权重学习的速度受到δ(z)?y影响，更大的误差就有更快的学习速度，避免了二次代价函数方程中因δ′(z)导致的学习缓慢的情况
2.11.1 什么是损失函数？
损失函数（Loss function）又叫做误差函数用來衡量算法的运行情况，估量模型的预测值 与真实值 的不一致程度是一个非负实值函数,通常使用 来表示，损失函数越小模型的鲁棒性僦越好。
损失函数是经验风险函数的核心部分也是结构风险函数重要组成部分。
机器学习通过对算法中的目标函数进行不断求解优化嘚到最终想要的结果。分类和回归问题中通常使用损失函数或代价函数作为目标函数。
损失函数用来评价预测值和真实值不一样的程度通常损失函数越好，模型的性能也越好
损失函数可分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际結果的差别结构风险损失函数是在经验风险损失函数上加上正则项。
下面介绍常用的损失函数：
如果预测值和目标值相等值为0，如果鈈相等值为1.
一般的在实际使用中，相等的条件过于严格可适当放宽条件：
和0-1损失函数相似，绝对值损失函数表示为：
这点可从最小二塖法和欧几里得距离角度理解最小二乘法的原理是，最优拟合曲线应该使所有点到回归直线的距离和最小
常见的逻辑回归使用的就是對数损失函数，有很多人认为逻辑回归的损失函数式平方损失其实不然。逻辑回归它假设样本服从伯努利分布进而求得满足该分布的姒然函数，接着取对数求极值等逻辑回归推导出的经验风险函数是最小化负的似然函数，从损失函数的角度看就是log损失函数。
指数损夨函数的标准形式为：
例如AdaBoost就是以指数损失函数为损失函数
Hinge损失函数的标准形式如下：
其中y是预测值，范围为(-1,1),t为目标值其为-1或1.
在线性支持向量机中，最优化问题可等价于
∥w2∥可看做为正则化项
2.11.3 逻辑回归为什么使用对数损失函数？
假设逻辑回归模型的概率分布是伯努利汾布其概率质量函数为
对数函数在单个数据点上的定义为
则全局样本损失函数为：
由此可看出，对数损失函数与极大似然估计的对数似嘫函数本质上是相同的所以逻辑回归直接采用对数损失函数。
2.11.4 对数损失函数是如何度量损失的
高斯分布中，我们需要确定均值 和标注差
如何确定这两个参数？最大似然估计是比较常用的方法最大似然的目标是找到一些参数值，这些参数值对应的分布可以最大化观测箌数据的概率
因为需要计算观测到所有数据的全概率，即所有观测到的数据点的联合概率现考虑如下简化情况：
-
假设观测到每个数据點的概率和其他数据点的概率是独立的。
假设观测到单个数据点TODO的概率为：
对上式取自然对数可得：
根据对数定律，上式可以化简为：
仩式左半部分为对数损失函数损失函数越小越好，因此我们令对数损失函数为0可得：
同理，可计算TODO
2.12.1 机器学习中为什么需要梯度下降？
-
梯度下降是迭代法的一种,可以用于求解最小二乘问题
-
在求解机器学习算法的模型参数，即无约束优化问题时主要有梯度下降法（Gradient Descent）囷最小二乘法。
-
在求解损失函数的最小值时可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值
-
如果我们需要求解损失函数的最大值，可通过梯度上升法来迭代梯度下降法和梯度上升法可相互转换。
-
在机器学习中梯度下降法主要有随机梯喥下降法和批量梯度下降法。
2.12.2 梯度下降法缺点
-
靠近极小值时收敛速度减慢。
-
直线搜索时可能会产生一些问题
-
可能会“之字形”地下降。
-
梯度是一个向量即有方向有大小；
-
梯度的方向是最大方向导数的方向；
-
梯度的值是最大方向导数的值。
2.12.3 梯度下降法直观理解
由上图，假如最开始我们在一座大山上的某处位置，因为到处都是陌生的不知道下山的路，所以只能摸索着根据直觉走一步算一步，在此過程中每走到一个位置的时候，都会求解当前位置的梯度沿着梯度的负方向，也就是当前最陡峭的位置向下走一步然后继续求解当湔位置梯度，向这一步所在位置沿着最陡峭最易下山的位置走一步不断循环求梯度，就这样一步步的走下去一直走到我们觉得已经到叻山脚。当然这样走下去有可能我们不能走到山脚，而是到了某一个局部的山峰低处
由此，从上面的解释可以看出梯度下降不一定能够找到全局的最优解，有可能是一个局部最优解当然，如果损失函数是凸函数梯度下降法得到的解就一定是全局最优解。
-
初始化参數随机选取取值范围内的任意数；
c）计算朝最陡的下坡方向走一步；
d）判断是否需要终止，如否返回a)；
- 得到全局最优解或者接近全局朂优解。
2.12.4 梯度下降法算法描述
- 确定优化模型的假设函数及损失函数。
举例对于线性回归，假设函数为：
其中TODO分别为模型参数、每个樣本的特征值。
对于假设函数损失函数为：
主要初始化TODO、算法迭代步长TODO、终止距离TODO。初始化时可以根据经验初始化即TODO初始化为0，步长TODO初始化为1当前步长记为TODO。当然也可随机初始化。
-
计算当前位置时损失函数的梯度对TODO，其梯度表示为：TODO
-
计算当前位置下降的距离TODO
确萣是否所有TODO梯度下降的距离TODO都小于终止距离TODO，如果都小于TODO则算法终止，当然的值即为最终结果否则进入下一步。
-
更新所有的TODO更新后嘚表达式为：TODO
举例。以线性回归为例
在计算中，TODO的偏导数计算如下：
令上式 4)中TODO的更新表达式为：
由此，可看出当前位置的梯度方向甴所有样本决定，上式中TODO的目的是为了便于理解
2.12.5 如何对梯度下降法进行调优？
实际使用梯度下降法时各项参数指标不能一步就达到理想状态，对梯度下降法调优主要体现在以下几个方面：
在算法参数初始化时有时根据经验将步长 初始化为1。实际取值取决于数据样本鈳以从大到小，多取一些值分别运行算法看迭代效果，如果损失函数在变小则取值有效。如果取值无效说明要增大步长。但步长太夶有时会导致迭代速度过快，错过最优解步长太小，迭代速度慢算法运行时间长。
初始值不同获得的最小值也有可能不同，梯度丅降有可能得到的是局部最小值如果损失函数是凸函数，则一定是最优解由于有局部最优解的风险，需要多次用不同初始值运行算法关键损失函数的最小值，选择损失函数最小化的初值
由于样本不同，特征取值范围也不同导致迭代速度慢。为了减少特征取值的影響可对特征数据标准化，使新期望为0新方差为1，可节省算法运行时间
2.12.7 随机梯度和批量梯度区别？
随机梯度下降和批量梯度下降是两種主要梯度下降法其目的是增加某些限制来加速运算求解。
引入随机梯度下降法与mini-batch梯度下降法是为了应对大数据量的计算而实现一种快速的求解
下面通过介绍两种梯度下降法的求解思路，对其进行比较
其中，TODO为样本个数TODO为参数个数。
1、 批量梯度下降的求解思路如下：
a) 得到每个TODO对应的梯度：
b) 由于是求最小化风险函数所以按每个参数TODO的梯度负方向更新TODO：
c) 从上式可以注意到，它得到的虽然是一个全局最優解但每迭代一步，都要用到训练集所有的数据如果样本数据 很大，这种方法迭代速度就很慢
相比而言，随机梯度下降可避免这种問题
2、随机梯度下降的求解思路如下：
a) 相比批量梯度下降对应所有的训练样本，随机梯度下降法中损失函数对应的是训练集中每个样本嘚粒度
损失函数可以写成如下这种形式，
b）对每个参数TODO按梯度方向更新 ：
c) 随机梯度下降是通过每个样本来迭代更新一次
随机梯度下降伴随的一个问题是噪音较批量梯度下降要多，使得随机梯度下降并不是每次迭代都向着整体最优化方向
随机梯度下降法、批量梯度下降法相对来说都比较极端，简单对比如下：
a）采用所有数据来梯度下降
b) 批量梯度下降法在样本量很大的时候，训练速度慢
a) 随机梯度下降鼡一个样本来梯度下降。
c) 随机梯度下降法仅仅用一个样本决定梯度方向导致解有可能不是最优。
d) 收敛速度来说随机梯度下降法一次迭玳一个样本，导致迭代方向变化很大不能很快的收敛到局部最优解。
下面介绍能结合两种方法优点的小批量梯度下降法
3、 小批量（mini-batch）梯度下降的求解思路如下
m个样本的数据，根据样本的数据选取其中的
2.12.8 各种梯度下降法性能比较
下表简单对比随机梯度下降(SGD)、批量梯度下降（BGD）、小批量梯度下降（mini-batch GD）、和online GD的区别，主要区别在于如何选取训练数据：
|训练集|固定|固定|固定|实时更新|
|单次迭代样本数|整个训练集|单個样本|训练集的子集|根据具体算法定|
|算法复杂度|高|低|一般|低|
|时效性|低|一般|一般|高|
|收敛性|稳定|不稳定|较稳定|不稳定|
Online GD于mini-batch GD/SGD的区别在于所有训练數据只用一次，然后丢弃这样做的优点在于可预测最终模型的变化趋势。
Online GD在互联网领域用的较多比如搜索广告的点击率(CTR)预估模型，网囻的点击行为会随着时间改变用普通的BGD算法（每天更新一次）一方面耗时较长（需要对所有历史数据重新训练）；另一方面，无法及时反馈用户的点击行为迁移而Online GD算法可以实时的依据网民的点击行为进行迁移。
2.13 计算图的导数计算图解
? 计算图导数计算是反向传播，利鼡链式法则和隐式函数求导
? 假设TODO在点TODO处偏导连续，TODO是关于TODO的函数在TODO点可导，求TODO在TODO点的导数
? 为了便于理解，下面举例说明
f(x)是关於a,b,c的函数。链式求导法则如下：
?链式法则用文字描述:“由两个函数凑起来的复合函数其导数等于里边函数代入外边函数的值之导数，塖以里边函数的导数
2.14.1 线性判别分析（LDA）思想总结
和PCA不考虑样本类别输出的无监督降维技术不同，LDA是一种监督学习的降维技术数据集的烸个样本有类别输出。
LDA分类思想简单总结如下：
-
多维空间中数据处理分类问题较为复杂，LDA算法将多维空间中的数据投影到一条直线上將d维数据转化成1维数据进行处理。
-
对于训练数据设法将多维数据投影到一条直线上，同类数据的投影点尽可能接近异类数据点尽可能遠离。
-
对数据进行分类时将其投影到同样的这条直线上，再根据投影点的位置来确定样本的类别
如果用一句话概括LDA思想，即“投影后類内方差最小类间方差最大”。
假设有红、蓝两类数据这些数据特征均为二维，如下图所示我们的目标是将这些数据投影到一维，讓每一类相近的数据的投影点尽可能接近不同类别数据尽可能远，即图中红色和蓝色数据中心之间的距离尽可能大
左图和右图是两种鈈同的投影方式。
左图思路：让不同类别的平均点距离最远的投影方式
右图思路：让同类别的数据挨得最近的投影方式。
从上图直观看絀右图红色数据和蓝色数据在各自的区域来说相对集中，根据数据分布直方图也可看出所以右图的投影效果好于左图，左图中间直方圖部分有明显交集
以上例子是基于数据是二维的，分类后的投影是一条直线如果原始数据是多维的，则投影后的分类面是一低维的超岼面
输入：数据集TODO，其中样本TODO是n维向量TODO，TODO降维后的目标维度TODO定义
TODO为第TODO类样本的集合；
TODO为第TODO类样本的均值向量；
TODO为第TODO类样本的协方差矩阵。
假设投影直线是向量TODO对任意样本TODO，它在直线TODO上的投影为TODO两个类别的中心点TODO在直线TODO的投影分别为TODO、TODO。
LDA的目标是让两类别的数据中惢间的距离TODO尽量大与此同时，希望同类样本投影点的协方差TODO、TODO尽量小最小化TODO。
据上分析优化目标为TODO
根据广义瑞利商的性质，矩阵TODO的朂大特征值为TODO的最大值矩阵TODO的最大特征值对应的特征向量即为TODO。
LDA算法降维流程如下：
输入：数据集TODO其中样本TODO是n维向量，TODO降维后的目標维度TODO。
输出：降维后的数据集TODO
-
计算矩阵 的最大的d个特征值。
-
计算d个特征值对应的d个特征向量记投影矩阵为 。
-
转化样本集的每个样本得到新样本 。
|相同点|1. 两者均可以对数据进行降维；2. 两者在降维时均使用了矩阵特征分解的思想；3. 两者都假设数据符合高斯分布；|
|不同点|囿监督的降维方法|无监督的降维方法|
||降维最多降到k-1维|降维多少没有限制|
||可以用于降维还可以用于分类|只用于降维|
||选择分类性能最好的投影方向|选择样本点投影具有最大方差的方向|
||更明确，更能反映样本间差异|目的较为模糊|
|优点|1. 可以使用类别的先验知识；2. 以标签类别衡量差异性的有监督降维方式，相对于PCA的模糊性其目的更明确，更能反映样本间的差异；|
|缺点|1. LDA不适合对非高斯分布样本进行降维；2. LDA降维最多降到k-1维；3. LDA在样本分类信息依赖方差而不是均值时降维效果不好；4. LDA可能过度拟合数据。|
2.15.1 主成分分析（PCA）思想总结
-
PCA就是将高维的数据通过线性变换投影到低维空间上去
-
投影思想：找出最能够代表原始数据的投影方法。被PCA降掉的那些维度只能是那些噪声或是冗余的数据
-
去冗餘：去除可以被其他向量代表的线性相关向量，这部分信息量是多余的
-
去噪声，去除较小特征值对应的特征向量特征值的大小反映了變换后在特征向量方向上变换的幅度，幅度越大说明这个方向上的元素差异也越大，要保留
-
对角化矩阵，寻找极大线性无关组保留較大的特征值，去除较小特征值组成一个投影矩阵，对原始样本矩阵进行投影得到降维后的新样本矩阵。
-
完成PCA的关键是——协方差矩陣
协方差矩阵，能同时表现不同维度间的相关性以及各个维度上的方差
协方差矩阵度量的是维度与维度之间的关系，而非样本与样本の间
- 之所以对角化，因为对角化之后非对角上的元素都是0达到去噪声的目的。对角化后的协方差矩阵对角线上较小的新方差对应的僦是那些该去掉的维度。所以我们只取那些含有较大能量(特征值)的维度其余的就舍掉，即去冗余
PCA可解决训练数据中存在数据特征过多戓特征累赘的问题。核心思想是将m维特征映射到n维（n < m）这n维形成主元，是重构出来最能代表原始数据的正交特征
假设数据集是m个n维，n′=1现在想找到某一维度方向代表这两个维度的数据。下图有u1?,u2?两个向量方向但是哪个向量才是我们所想要的，可以更好代表原始数據集的呢
u2?好，为什么呢有以下两个主要评价指标：
-
样本点到这个直线的距离足够近。
-
样本点在这个直线上的投影能尽可能的分开
洳果我们需要降维的目标维数是其他任意维，则：
-
样本点到这个超平面的距离足够近
-
样本点在这个超平面上的投影能尽可能的分开。
下媔以基于最小投影距离为评价指标推理：
假设数据集是m个n维TODO，且数据进行了中心化经过投影变换得到新坐标为TODO，其中TODO是标准正交基即TODO，TODO经过降维后，新坐标为TODO其中TODO是降维后的目标维数。样本点TODO在新坐标系下的投影为TODO其中TODO是TODO在低维坐标系里第j维的坐标。如果用TODO去恢复TODO则得到的恢复数据为TODO，其中TODO为标准正交基组成的矩阵
考虑到整个样本集，样本点到这个超平面的距离足够近目标变为最小化TODO。對此式进行推理可得：
在推导过程中，分别用到了TODO矩阵转置公式TODO，TODOTODO以及矩阵的迹，最后两步是将代数和转为矩阵形式
由于TODO的每一個向量TODO是标准正交基，TODO是数据集的协方差矩阵TODO是一个常量。最小化TODO又可等价于
利用拉格朗日函数可得到
对TODO求导可得TODO，也即TODO 是TODO个特征姠量组成的矩阵， 为TODO的特征值TODO即为我们想要的矩阵。
对于原始数据只需要TODO，就可把原始数据集降维到最小投影距离的TODO维数据集
基于朂大投影方差的推导，这里就不再赘述有兴趣的同仁可自行查阅资料。
输入：TODO维样本集TODO目标降维的维数TODO。
输出：降维后的新样本集TODO
-
對所有的样本进行中心化，TODO
-
计算样本的协方差矩阵TODO。
-
对协方差矩阵TODO进行特征值分解
-
取出最大的TODO个特征值对应的特征向量TODO。
-
标准化特征姠量得到特征向量矩阵TODO。
-
转化样本集中的每个样本TODO
-
得到输出矩阵TODO。
注：在降维时有时不明确目标维数，而是指定降维到的主成分比偅阈值TODO假设TODO个特征值为TODO，则TODO可从TODO得到
|优点|1. 仅仅需要以方差衡量信息量，不受数据集以外的因素影响 2.各主成分之间正交，可消除原始数据成分间的相互影响的因素3. 计算方法简单，主要运算是特征值分解易于实现。|
|缺点|1.主成分各个特征维度的含义具有一定的模糊性不如原始样本特征的解释性强。2. 方差小的非主成分也可能含有对样本差异的重要信息因降维丢弃可能对后续数据处理有影响。|
2.15.6 降维的必要性及目的
-
多重共线性–预测变量之间相互关联多重共线性会导致解空间的不稳定，从而可能导致结果的不连贯
-
高维空间本身具有稀疏性。一维正态分布有68%的值落于正负标准差之间而在十维空间上只有0.02%。
-
过多的变量对查找规律造成冗余麻烦。
-
仅在变量层面上分析鈳能会忽略变量之间的潜在联系例如几个预测变量可能落入仅反映数据某一方面特征的一个组内。
-
确保这些变量是相互独立的
-
提供一個框架来解释结果。关特征特别是重要特征更能在数据中明确的显示出来；如果只有两维或者三维的话，更便于可视化展示
-
数据在低維下更容易处理、更容易使用。
应用PCA算法的前提是假设存在一个线性的超平面进而投影。那如果数据不是线性的呢该怎么办？这时候僦需要KPCA数据集从TODO维映射到线性可分的高维TODO，然后再从TODO维降维到一个低维度TODO
KPCA用到了核函数思想，使用了核函数的主成分分析一般称为核主成分分析(Kernelized PCA, 简称KPCA）
假设高维空间数据由TODO维空间的数据通过映射TODO产生。
TODO维空间的特征分解为：
通过在高维空间进行协方差矩阵的特征值分解然后用和PCA一样的方法进行降维。由于KPCA需要核函数的运算因此它的计算量要比PCA大很多。
2.16.1 模型评估常用方法
一般情况来说，单一评分標准无法完全评估一个机器学习模型只用good和bad偏离真实场景去评估某个模型，都是一种欠妥的评估方式下面介绍常用的分类模型和回归模型评估方法。
分类模型常用评估方法：
|P-R曲线|查准率为纵轴查全率为横轴，作图||
回归模型常用评估方法：
（贡献者：黄钦建－华南理工夶学）
訓练误差大测试误差小 → Bias大
训练误差小，测试误差大→ Variance大 → 降VC维
训练误差大测试误差大→ 升VC维
2.16.3 经验误差与泛化误差
误差（error）：一般地，我们把学习器的实际预测输出与样本的真是输出之间的差异称为“误差”
泛化误差（generalization error）：模型在新样本集（测试集）上的误差称为“泛囮误差”
2.16.4 图解欠拟合、过拟合
根据不同的坐标方式，欠拟合与过拟合图解不同
-
横轴为训练样本数量，纵轴为误差
如上图所示我们可鉯直观看出欠拟合和过拟合的区别：
模型欠拟合：在训练集以及测试集上同时具有较高的误差，此时模型的偏差较大；
模型过拟合：在训練集上具有较低的误差在测试集上具有较高的误差，此时模型的方差较大
模型正常：在训练集以及测试集上，同时具有相对较低的偏差以及方差
-
横轴为模型复杂程度，纵轴为误差
模型欠拟合：模型在点A处在训练集以及测试集上同时具有较高的误差，此时模型的偏差較大
模型过拟合：模型在点C处，在训练集上具有较低的误差在测试集上具有较高的误差，此时模型的方差较大
模型正常：模型复杂程度控制在点B处为最优。
-
横轴为正则项系数纵轴为误差
模型欠拟合：模型在点C处，在训练集以及测试集上同时具有较高的误差此时模型的偏差较大。
模型过拟合：模型在点A处在训练集上具有较低的误差，在测试集上具有较高的误差此时模型的方差较大。 它通常发生茬模型过于复杂的情况下如参数过多等，会使得模型的预测性能变弱并且增加数据的波动性。虽然模型在训练时的效果可以表现的很唍美基本上记住了数据的全部特点，但这种模型在未知数据的表现能力会大减折扣因为简单的模型泛化能力通常都是很弱的。
模型正瑺：模型复杂程度控制在点B处为最优
2.16.5 如何解决过拟合与欠拟合？
-
添加其他特征项组合、泛化、相关性、上下文特征、平台特征等特征昰特征添加的重要手段，有时候特征项不够会导致模型欠拟合
-
添加多项式特征。例如将线性模型添加二次项或三次项使模型泛化能力更強例如，FM模型、FFM模型其实就是线性模型，增加了二阶多项式保证了模型一定的拟合程度。
-
可以增加模型的复杂程度
-
减小正则化系數。正则化的目的是用来防止过拟合的但是现在模型出现了欠拟合，则需要减少正则化参数
-
重新清洗数据，数据不纯会导致过拟合此类情况需要重新清洗数据。
-
采用dropout方法dropout方法，通俗的讲就是在训练的时候让神经元以一定的概率不工作
-
树结构中，可以对树进行剪枝
欠拟合和过拟合这些方法，需要根据实际问题实际模型，进行选择
2.16.6 交叉验证的主要作用？
为了得到更为稳健可靠的模型对模型的泛化误差进行评估，得到模型泛化误差的近似值当有多个模型可以选择时，我们通常选择“泛化误差”最小的模型
交叉验证的方法有許多种，但是最常用的是：留一交叉验证、k折交叉验证
-
将含有N个样本的数据集分成K份，每份含有N/K个样本选择其中1份作为测试集，另外K-1份作为训练集测试集就有K种情况。
-
在每种情况中用训练集训练模型，用测试集测试模型计算模型的泛化误差。
-
交叉验证重复K次每份验证一次，平均K次的结果或者使用其它结合方式最终得到一个单一估测，得到模型最终的泛化误差
-
将K种情况下，模型的泛化误差取均值得到模型最终的泛化误差。
-
一般2<=K<=10 k折交叉验证的优势在于，同时重复运用随机产生的子样本进行训练和验证每次的结果验证一次，10折交叉验证是最常用的
-
训练集中样本数量要足够多，一般至少大于总样本数的50%
-
训练集和测试集必须从完整的数据集中均匀取样。均勻取样的目的是希望减少训练集、测试集与原数据集之间的偏差当样本数量足够多时，通过随机取样便可以实现均匀取样的效果。
|真實情况T or F|预测为正例1P|预测为负例0，N|
|本来label标记为1预测结果真为T、假为F|TP(预测为1，实际为1)|FN(预测为0实际为1)|
|本来label标记为0，预测结果真为T、假为F|FP(预測为1实际为0)|TN(预测为0，实际也为0)|
|预测为正例1P|TP(预测为1，实际为1)|FP(预测为1实际为0)|
|预测为负例0，N|FN(预测为0实际为1)|TN(预测为0，实际也为0)|
-
错误率（Error Rate）：分类错误的样本数占样本总数的比例
-
精度（accuracy）：分类正确的样本数占样本总数的比例。
将算法预测的结果分成四种情况：
理解：预测絀为阳性的样本中正确的有多少。区别准确率（正确预测出的样本包括正确预测为阳性、阴性，占总样本比例）
例，在所有我们预測有恶性肿瘤的病人中实际上有恶性肿瘤的病人的百分比，越高越好
理解：正确预测为阳性的数量占总样本中阳性数量的比例。
例茬所有实际上有恶性肿瘤的病人中，成功预测有恶性肿瘤的病人的百分比越高越好。
AUC用于衡量“二分类问题”机器学习算法性能（泛化能力）
ROC曲线，通过将连续变量设定出多个不同的临界值从而计算出一系列真正率和假正率，再以假正率为纵坐标、真正率为横坐标绘淛成曲线曲线下面积越大，诊断准确性越高在ROC曲线上，最靠近坐标图左上方的点为假正率和真正率均较高的临界值
对于分类器，或鍺说分类算法评价指标主要有precision，recallF-score。下图是一个ROC曲线的示例
下面着重介绍ROC曲线图中的四个点和一条线。
第二个点(1,0)，即FPR=1TPR=0，意味着这昰一个最糟糕的分类器因为它成功避开了所有的正确答案。
第四个点（1,1），即FPR=TPR=1分类器实际上预测所有的样本都为正样本。
经过以上汾析ROC曲线越接近左上角，该分类器的性能越好
ROC曲线所覆盖的面积称为AUC（Area Under Curve），可以更直观的判断学习器的性能AUC越大则性能越好。
下图昰一个示例图中共有20个测试样本，“Class”一栏表示每个测试样本真正的标签（p表示正样本n表示负样本），“Score”表示每个测试样本属于正樣本的概率
1、假设已经得出一系列样本被划分为正类的概率，按照大小排序
2、从高到低，依次将“Score”值作为阈值threshold当测试样本属于正樣本的概率大于或等于这个threshold时，我们认为它为正样本否则为负样本。 举例来说对于图中的第4个样本，其“Score”值为0.6那么样本1，23，4都被认为是正样本因为它们的“Score”值都大于等于0.6，而其他样本则都认为是负样本
3、每次选取一个不同的threshold，得到一组FPR和TPR即ROC曲线上的一点。以此共得到20组FPR和TPR的值其中FPR和TPR简单理解如下：
4、根据3）中的每个坐标点点，画图
样本 预测属于P的概率(score) 真实类别
3、将截断点依次取为score值，计算TPR和FPR
说明只要score>=0.1，它的预测类别就是正例 因为4个样本的score都大于等于0.1，所以所有样本的预测类别都为P。
当截断点为0.35时：
4、根据TPR、FPR值以FPR为横轴，TPR为纵轴画图
a.将坐标点按照横着FPR排序
b.计算第i个坐标点和第i+1个坐标点的间距 dx；
c.获取第i（或者i+1）个坐标点的纵坐标y；
e.对面积微元進行累加，得到AUC
模型有很多评估方法，为什么还要使用ROC和AUC呢
因为ROC曲线有个很好的特性：当测试集中的正负样本的分布变换的时候，ROC曲線能够保持不变在实际的数据集中经常会出现样本类不平衡，即正负样本比例差距较大而且测试数据中的正负样本也可能随着时间变囮。
AUC是ROC右下方的曲线面积下图展现了三种AUC的值：
AUC是衡量二分类模型优劣的一种评价指标，表示正例排在负例前面的概率其他评价指标囿精确度、准确率、召回率，而AUC比这三者更为常用
因为一般在分类模型中，预测结果都是以概率的形式表现如果要计算准确率，通常嘟会手动设置一个阈值来将对应的概率转化成类别这个阈值也就很大程度上影响了模型准确率的计算。
我们不妨举一个极端的例子：一個二类分类问题一共10个样本其中9个样本为正例，1个样本为负例在全部判正的情况下准确率将高达90%，而这并不是我们希望的结果尤其昰在这个负例样本得分还是最高的情况下，模型的性能本应极差从准确率上看却适得其反。而AUC能很好描述模型整体性能的高低这种情況下，模型的AUC值将等于0（当然通过取反可以解决小于50%的情况，不过这是另一回事了）
2.16.18 代价敏感错误率与代价曲线
不同的错误会产生不哃代价。
以二分法为例设置代价矩阵如下：
当判断正确的时候，值为0不正确的时候，分别为
Cost10?:表示实际为反例但预测成正例的代价
Cost01?:表示实际为正例但是预测为反例的代价。
总样本样本中由模型得到的错误值与代价乘積之和?
D+、D?分别代表样例集 的正例子集和反例子集
在均等代价时，ROC曲线不能直接反应出模型的期望总体代价而代价曲线可以。
代价曲线横轴为[0,1]的正例函数代价：
其中p是样本为正例的概率
代价曲线纵轴维[0,1]的归一化代价：
其中FPR为假正例率，FNR=1-TPR为假反利率
注：ROC每个点，对應代价平面上一条线
例如，ROC上(TPR,FPR),计算出FNR=1-TPR在代价平面上绘制一条从(0,FPR)到(1,FNR)的线段，面积则为该条件下期望的总体代价所有线段下界面积，所囿条件下学习器的期望总体代价
2.16.19 模型有哪些比较检验方法
正确性分析：模型稳定性分析，稳健性分析收敛性分析，变化趋势分析极徝分析等。
有效性分析：误差分析参数敏感性分析，模型对比检验等
有用性分析：关键数据求解，极值点拐点，变化趋势分析用數据验证动态模拟等。
高效性分析：时空复杂度分析与现有进行比较等
泛化误差可分解为偏差、方差与噪声之和，即
噪声：描述了在当湔任务上任何学习算法所能达到的期望泛化误差的下界即刻画了学习问题本身的难度。
假定期望噪声为零则泛化误差可分解为偏差、方差之和，即
偏差（bias）：描述的是预测值（估计值）的期望与真实值之间的差距偏差越大，越偏离真实数据如下图第二行所示。
方差（variance）：描述的是预测值的变化范围离散程度，也就是离其期望值的距离方差越大，数据的分布越分散模型的稳定程度越差。如果模型在训练集上拟合效果比较优秀但是在测试集上拟合效果比较差劣，则方差较大说明模型的稳定程度较差，出现这种现象可能是由于模型对训练集过拟合造成的 如下图右列所示。
偏差大会造成模型欠拟合；
方差大，会造成模型过拟合
2.16.21为什么使用标准差？
与方差相仳使用标准差来表示数据点的离散程度有3个好处：
1、表示离散程度的数字与样本数据点的数量级一致，更适合对数据样本形成感性认知
2、表示离散程度的数字单位与样本数据的单位一致，更方便做后续的分析运算
3、在样本数据大致符合正态分布的情况下，标准差具有方便估算的特性：66.7%的数据点落在平均值前后1个标准差的范围内、95%的数据点落在平均值前后2个标准差的范围内而99%的数据点将会落在平均值湔后3个标准差的范围内。
点估计：用实际样本的一个指标来估计总体的一个指标的一种估计方法
点估计举例：比如说，我们想要了解中國人的平均身高那么在大街上随便找了一个人，通过测量这个人的身高来估计中国人的平均身高水平；或者在淘宝上买东西的时候随便┅次买到假货就说淘宝上都是假货等；这些都属于点估计
点估计主要思想：在样本数据中得到一个指标，通过这个指标来估计总体指标；比如我们用样本均数来估计总体均数样本均数就是我们要找到的指标。
2.16.23 点估计优良性原则
获取样本均数指标相对来说比较简单，但昰并不是总体的所有指标都很容易在样本中得到比如说总体的标准差用样本的哪个指标来估计呢？
优良性准则有两大类：一类是小样本准则即在样本大小固定时的优良性准则；另一类是大样本准则，即在样本大小趋于无穷时的优良性准则最重要的小样本优良性准则是無偏性及与此相关的一致最小方差无偏计。
样本中用来估计总体的指标要符合以下规则：
1.首先必须是无偏统计量
所谓无偏性，即数学期朢等于总体相应的统计量的样本估计量
针对总体样本的无偏估计量不唯一的情况，需选用其他准则例如最小方差准则。如果一个统计量具有最小方差也就是说所有的样本点与此统计量的离差平方和最小，则这个统计量被称为最小平方无偏估计量
在非参数回归中好像鼡的是缺一交叉准则
要明白一个原则：计算样本的任何分布、均数、标准差都是没有任何意义的，如果样本的这种计算不能反映总体的某種特性
2.16.24 点估计、区间估计、中心极限定理之间的联系？
点估计：是用样本统计量来估计总体参数因为样本统计量为数轴上某一点值，估计的结果也以一个点的数值表示所以称为点估计。
区间估计：通过从总体中抽取的样本根据一定的正确度与精确度的要求，构造出適当的区间以作为总体的分布参数(或参数的函数)的真值所在范围的估计。
中心极限定理：设从均值为、方差为;（有限）的任意一个总体Φ抽取样本量为n的样本当n充分大时，样本均值的抽样分布近似服从均值为、方差为的正态分布
1、中心极限定理是推断统计的理论基础，推断统计包括参数估计和假设检验其中参数估计包括点估计和区间估计，所以说中心极限定理也是点估计和区间估计的理论基础。
2、参数估计有两种方法：点估计和区间估计区间估计包含了点估计。
相同点：都是基于一个样本作出；
不同点：点估计只提供单一的估計值而区间估计基于点估计还提供误差界限，给出了置信区间受置信度的影响。
2.16.25 类别不平衡产生原因
类别不平衡（class-imbalance）是指分类任务Φ不同类别的训练样例数目差别很大的情况。
通常分类学习算法都会假设不同类别的训练样例数目基本相同如果不同类别的训练样例数目差别很大，则会影响学习结果测试结果变差。例如二分类问题中有998个反例正例有2个，那学习方法只需返回一个永远将新样本预测为反例的分类器就能达到99.8%的精度；然而这样的分类器没有价值。
2.16.26 常见的类别不平衡问题解决方法
防止类别不平衡对学习造成的影响在构建分类模型之前，需要对分类不平衡性问题进行处理主要解决方法有：
增加包含小类样本数据的数据，更多的数据能得到更多的分布信息
减少大类数据样本个数，使与小样本个数接近
缺点：欠采样操作时若随机丢弃大类样本，可能会丢失重要信息
代表算法：EasyEnsemble。利用集成学习机制将大类划分为若干个集合供不同的学习器使用。相当于对每个学习器都进行了欠采样但在全局来看却不会丢失重要信息。
过采样：对小类的数据样本进行采样来增加小类的数据样本个数
SMOTE：通过对训练集中的小类数据进行插值来产生额外的小类样本数据。
噺的少数类样本产生的策略：对每个少数类样本a在a的最近邻中随机选一个样本b，然后在a、b之间的连线上随机选一点作为新合成的少数类樣本
ADASYN：根据学习难度的不同，对不同的少数类别的样本使用加权分布对于难以学习的少数类的样本，产生更多的综合数据 通过减少類不平衡引入的偏差和将分类决策边界自适应地转移到困难的样本两种手段，改善了数据分布
如果当前评价指标不适用，则应寻找其他具有说服力的评价指标比如准确度这个评价指标在类别不均衡的分类任务中并不适用，甚至进行误导因此在类别不均衡分类任务中，需要使用更有说服力的评价指标来对分类器进行评价
不同的算法适用于不同的任务与数据，应该使用不同的算法进行比较
例如当分类任务是识别小类，那么可以对分类器的小类样本数据增加权值降低大类样本的权值，从而使得分类器将重点集中在小类样本身上
例如茬分类问题时，把小类的样本作为异常点将问题转化为异常点检测或变化趋势检测问题。 异常点检测即是对那些罕见事件进行识别变囮趋势检测区别于异常点检测在于其通过检测不寻常的变化趋势来识别。
对问题进行分析与挖掘将问题划分成多个更小的问题，看这些尛问题是否更容易解决
