D、欧几里得球范数球,椭球等
彡、无约束凸优化问题求解
对于少数一些简单的凸优化问题可以利用最优性准则通过解析来求解。但对于大多数凸优化问题来讲是没囿办法通过解析来求解的。
下降方法中有两个问题需要解决:确定搜索步长和确定搜索方向。确定搜索步长的方法和算法有:固定步长搜索、精确直线搜索和回溯直线搜索确定搜索方向的方法和算法有:梯度下降方法、最速下降方法和牛顿法。
3.3、确定步长的方法
步长值根据经验设定为了防止算法震荡,值应当较小优点:直观、简单;缺点:收敛速度慢。
比较常用的是回溯直线搜索大概思路是,用迭代方法求得的步长只要能使目标函数有足够的减少即可
3.4、调整搜索方向的方法
利用目标函数的一阶泰勒展开近似优化过程,求得搜索方向的方法
利用目标函数的二阶泰勒展开近似表示目标函数,通过求解这个二次函数的极小值来确定搜索方向