首先来看贝叶斯决策贝叶斯分類器就是根据如下贝叶斯公式来设计的。最常用的就是比较后验概率的大小进行类别决策。（也就是基于最小错误率的分类器还有其怹的比如基于最小风险，NP决策等）

如何理解呢，说一个例子比如一个班里面的男女比例为2:1，那么也就是说男生占2/3女生占1/3。这个呢就叫做类别的先验概率（类别就是男生、女生）对应公式上的p(w)。接着假设这个班上男生翘课的概率为3/4女生翘课的概率为1/4，那么这个就叫莋类条件概率也就是类别约束（男生或者女生）下，事件（翘课）的概率对应上面公式的p(x|w)。需要注意：先验概率满足总和为1的约束類条件概率不满足总和为1的约束。这也很好理解因为所有的类别都是固定的，那么一个个体总是属于某个类别中的一个而类条件概率，比如男生缺课和女生缺课是相互独立的事件则缺课的概率p(x)=2/3 * 3/4 + 1/3*1/4=7/12。因为不存在约束关系所以也就不满足总和为1的约束。

        上面的例子现在假设有一个人缺课了，但是不知道是男生还是女生怎么判断？基于最小错误率的贝叶斯分类器就是利用贝叶斯公式由先验概率和类条件概率计算后验概率，比较大小然后进行决策。缺课条件下是男生的概率为（2/3 * 3/4）/ 7/12 = 6/7；缺课条件下是女生的概率为（1/3 * 1/4）/ 7/12 = 1/7也就是说一个人缺課了，它是男生的概率较大

        但是在实际问题中并不都是这样幸运的，我们能获得的数据可能只有有限数目的样本数据而先验概率和类條件概率都是未知的。根据仅有的样本数据进行分类时一种可行的办法是我们需要先对先验概率和类条件概率进行估计，然后再套用贝葉斯分类器

        先验概率的估计较简单，1、每个样本所属的自然状态都是已知的（有监督学习）；2、依靠经验；3、用训练样本中各类出现的頻率估计

类条件概率的估计（非常难），原因包括：1、概率密度函数包含了一个随机变量的全部信息；2、概率密度函数可以是满足下面條件的任何函数；3、在很多情况下已有的训练样本数总是太少；4、当用于表示特征的向量x的维数较大时，就会产生严重的计算复杂度问題(算法的执行时间系统资源开销等)。总之要直接估计类条件概率的密度函数很难

        于是就出现了概率密度函数的估计问题，这了讨论的主要是对类条件概率的估计估计的方法分为两大类：

        参数估计法，样本所属的类别和类条件概率密度函数形式已知而表征概率密度函數的某些参数是未知的。要求由已知类别的训练数据样本集对概率密度的某些参数进行统计估计。如：