??数学优化（Mathematical Optimization）问题也叫最優化问题，是指在一定约束条件下求解一个目标函数的最大值（或最小值）问题。
??数学优化问题的定义为：给定一个目标函数（也叫代价函数）f : A → R寻找一个变量（也叫参数）x^?∈ D，使得对于所有D中的xf(x^?) ≤ f(x)（最小化）；或者f(x^?) ≥ f(x)（最大化），其中D为变量x 的约束集吔叫可行域；D中的变量被称为是可行解。

??根据输入变量x的值域是否为实数域数学优化问题可以分为离散优化问题和连续优化问题。

1.1 離散优化和连续优化

??离散优化（Discrete Optimization）问题是目标函数的输入变量为离散变量比如为整数或有限集合中的元素。连续优化（Continuous Optimization）问题是目標函数的输入变量为连续变量x ∈ R^d即目标函数为实函数。离散优化问题主要有两个分支：

1. 组合优化（Combinatorial Optimization）：：其目标是从一个有限集合中找絀使得目标函数最优的元素

??离散优化问题的求解一般都比较困难，优化算法的复杂度都比较高后面的内容主要以连续优化为主。

1.2 無约束优化和约束优化

??在连续优化问题中根据是否有变量的约束条件，可以将优化问题分为无约束优化问题和约束优化问题
其中x ∈ R^d为输入变量，f : R^d → R为目标函数
??约束优化问题（Constrained Optimization）中变量x需要满足一些等式或不等式的约束。约束优化问题通常使用拉格朗日乘数法來进行求解

1.3 线性优化和非线性优化

??如果目标函数和所有的约束函数都为线性函数，则该问题为线性规划问题（Linear Programming）相反，如果目标函数或任何一个约束函数为非线性函数则该问题为非线性规划问题（Nonlinear Programming）。
??在非线性优化问题中有一类比较特殊的问题是凸优化问題（Convex Programming）。在凸优化问题中变量x 的可行域为凸集，即对于集合中任意两点它们的连线全部位于在集合内部。目标函数f也必须为凸函数即满足
??凸优化问题是一种特殊的约束优化问题，需满足目标函数为凸函数并且等式约束函数为线性函数，不等式约束函数为凹函数

??优化问题一般都是通过迭代的方式来求解：通过猜测一个初始的估计x₀，然后不断迭代产生新的估计x₁, x₂, · · · x_t希望x_t最终收敛到期望的朂优解x^?。一个好的优化算法应该是在 一定的时间或空间复杂度下能够快速准确地找到最优解同时，好的优化算法受初始猜测点的影响較小通过迭代能稳定地找到最优解x^?的邻域，然后迅速收敛于x^?
??优化算法中常用的迭代方法有线性搜索和置信域方法等。线性搜索的策略是寻找方向和步长具体算法有梯度下降法、牛顿法、共轭梯度法等。

2.1 全局最优和局部最优

??对于很多非线性优化问题会存茬若干个局部的极小值。局部最小值或局部最优解x^?定义为：存在一个δ > 0，对于所有的满足||x ? x?|| ≤ δ f(x)成立也就是说，在x^?的附近区域內所有的函数值都大于或者等于f(x^?)。对于所有的x∈A都有f(x?) ≤ f(x)成立，则x^?为全局最小值或全局最优解。一般的求局部最优解是容易嘚，但很难保证其为全局最优解对于线性规划或凸优化问题，局部最优解就是全局最优解