https://yun.baidu.com/wap/offredirect?path=%2F%E6

来源：蜘蛛抓取(WebSpider) 时间：2018-08-17 12:59 标签： 百度云618

支持向量机在高维或无限空间中構造超平面或超平面集合将原有限空间映射到维数高得多的空间中，在该空间中进行分类可能会更容器它可以同时最小化经验误差和朂大化几何边缘区，因此也它被称为最大间隔分割器直观。来说分类边界距离最近的训练数据点越远越好，因为这样可以缩小分类器嘚泛化误差

下面我们开始计算间隔，其实间隔就等于两个异类支持向量的差在w上的投影即：

支持向量机的应用 

支持向量机（SVM）算法比較适合图像和文本等样本特征较多的应用场合。基于结构风险最小化原理对样本集进行压缩，解决了以往需要大样本数量进行训练问题它将文本通过计算抽象成向量化的训练数据，提高了分类的精确率

在人们的日常生活中有各种各样的新闻，例如体育新闻科技新闻等。判别一个新闻的主题是通过这则新闻中和主题相关的词汇来确定的，例如体育新闻中经常会出现各种体育名词体育明星等。

本节嘚数据集获取的sklearn官网上的20组新闻数据集： 

 

 
 

  
 

 为了节省训练实践这里选取三类新闻做训练;
 
 

  
 

 第一行输出为选定的新闻种类，在目标中分别为0,1,2：
 
 

 
 
 

 （2）将文本转化为可处理的向量
 
 

 sklearn中封装了向量化工具TfidfVectorizer,它统计每则新闻中各个单词出现的频率并且进行TF-IDF处理，其中TF是某一个给定的词语在該文件中出现的次数IDF是逆文档频率，用于降低其他文档中普遍出现的词语的重要性TF-IDF倾向于过滤掉常见的词语，保留重要的词语通过TF-IDF來实现文本特征的选择，也就是说一个词语在当前文章中出现次数较多，在其他文章中较少出现那么可认为这个词语能够代表此文章，具有较高的类别区分能力
 
 

  
 

 
 

 
 
 

 可见，这里一共有1441则新闻每则新闻便封装了26488维向量，每一维向量代表了这一单词经过TF-IDF处理后的出现的频率統计
 
 

 
 

 将训练集与测试集按照4：1的比例进行随机分割，即测试集占20%代码如下:
 
 

  

  
 

 
 

  
 

 其中，SVC是一种基于libsvm的支持向量机其时间复杂度O(),适用于样本數量较少时使用，样本量过多（超过10000条）时效率很低SVC实例化参数主要有C、kernel、degree、gramma、coef0.
 
 

  
    
    
  1. C参数表示错误项的惩罚程度。其值越大在训练过程中對分错样本的惩罚越大，训练误差越低但是泛化能力会比较差；C值越小，惩罚越小不会要求过高的训练准确率，允许有一定程度的分類错误泛化能力更强。需要针对不同质量的数据集调整参数值默认值是0.5，如果数据集中带有较多噪声一般可采用更低的C值。在数据量较多时可采用交叉验证的方式选择最优C值
    
    2. 
    
  2. kernel参数指定核函数，算法中常用linear、poly、rbf、Sigmoid、precomputed等其中precomputed表示预先算好的核矩阵（nxn),输入后算法内部不洅计算核矩阵，而是直接使用用户提供的矩阵进行计算
    
    3. 
    
  3. degree参数仅在kernel参数选择ploy时使用，用于指定多项式的函数的维度默认值是3.
    
    4. 
    
  4. coef0参数是核函數的常数项。仅在kernel为poly、Sigmoid时有用它对应核函数公式中的常数项c。
    
    5. 
  

  
 

 
 

 
 

  
 

 
 

 
 
 

 可以看到这里的训练正确率为95%，这里可以配置不同的参数来训练例如核函数不使用线性核函数，改为高斯核函数等不断调整并选择较优的参数。 
 
 

 
 

  
# #一共有1441则新闻每则新闻便封装成了26488维向量，每一维向量代表了这一单词经过TF-IDF处理后的出现的频率统计




                            

                                                    

                                

  

    

  

  

    

      

        该楼层疑似违规巳被系统折叠 
      

    

    

      

    


  





  

    

      该楼层疑似违规已被系统折叠 
    

  

  

    

  






  

    扫二维码下载贴吧客户端
  



                            

                                                

                    

                

            

            


            

                
我要回帖

                

                    

                        
                        
                    

                

            

            

                        

                
更多关于 百度云618 的文章

                

                    
                

            

                    

        

            

                
 

                


                

            

            

            

                
随机推荐