数学上具备修补项的某些特性
講人话,到底什么是正则化
就是让我们本科时学过的拉格朗日法求极值得到的解集具有某些特征。
L1:(拉普拉斯分布的指数项)
结果会比較稀疏(接近0或者很大),
好处是更快的特征学习让很多W为0
但是正则效果可能不太明显;
L2:(高斯分布的指数项)
L2对于不重要的特征會减小W,但是不会为0
为什么L1具有稀疏性
这个东西网上几乎没有博客是讲清楚的,
还记得本科时学的拉格朗日不
好了,扯了这么多代码呢?
代码可以使用《python深度学习》第四章的第三个实验
为了快速出结果设置epochs=1
L1正则时的權重输出如下:
我们可以看到,有很多个权重是e-4也就是说小于0.1,
所以L1的稀疏性是什么意思呢
不是网上说的很多权重为0,
然后使用同样嘚代码再进行L2正则化,然后看下输出的权重
我们可以看到其实也有很多是e-2取值的,但是L2正则化的情况下你基本看不到e-4的,所以说
L1仳L2“更容易”导致权重的稀疏性,
并非只有L1能导致稀疏性
上次的例子老师举错了说声抱歉,含有第一类间断点和无穷间断点的是没有原函数的有些含有震荡间断点的是有原函数的。
免责声明:本页面内容均来源于用户站内編辑发布部分信息来源互联网,并不意味着本站赞同其观点或者证实其内容的真实性如涉及版权等问题,请立即联系客服进行更改或刪除保证您的合法权益。
拍照搜题秒出答案,一键查看所有搜题记录
拍照搜题秒出答案,一键查看所有搜题记录
拍照搜题秒出答案,一键查看所有搜题记录
|
|