数值优化介绍

一、模型与算法 模型是将抽象的实际问题转化成数学问题，用便于理解和计算的数学模型表示，通俗的说可以把模型理解为 计算公式，常见数学定义定理等，算法即计算方法，是求解数学模型用的，就是 将模型解出的方法。总之， 模型是将实际问题数学化，算法是将其中所蕴含的数学问题进行求解。 数学模型，是 对某一个具体问题的抽象描述，因为要求严谨和准确，所以一般只能选择数学描述，避免出现二义性。数学模型的建立，并不意味着问题的解决，但却是问题解决的基础，因为至少把问题解释清楚了，保证了所有人对问题的理解是一致的。  计算机算法是 解决问题的方法和流程，一般情况下，算法是基于数学模型的。如 “常微分方程的精确求解” 问题，分别采用代数模型、几何模型来描述，就会推导出不同的算法：代数动力学算法与几何算法，两者虽然算法思路完全不同，但都通向 “问题解决” 的终点。 二、 解决问题的过程 识别给定问题的目标、变量和约束的过程被称为 建模。在优化过程中，构建一个适当的模型是第一个步骤，有时也是最重要的一个步骤。 一旦模型建立好之后，可以使用 优化算法来找到问题的解。没有通用的优化算法。有很多的优化算法，每个都是为了解决特定类型的优化问题。用户应该选择适合自己特定应用的算法。这一步也很重要，它决定了问题被解决的快慢、是否可以找到所有的解。 当优化算法应用到模型上的时候，我们要判别是否它已经成功地解决问题。如果没有，一步步地迭代解决问题。 三、 数学公式 在数学上，优化是最小化或最大化一个受限于其变量的函数对象。 x是变量的向量，称为未知数或参数； f是目标函数，我们要最大化或最小化的x的函数； c是未知量满足约束的向量，是变量x的向量函数。 四、 有约束的和无约束的优化 无约束的优化：如果对变量有自然限制，有时可以安全地忽略它们，并假设它们对最优解不起影响。 不受约束的问题也可以重新构造为受约束的优化问题，其中约束条件是目标函数中的惩罚项，这些惩罚项具有阻止约束违规的作用。 有约束的优化：约束优化问题是 对变量进行 显式的约束。这些约束可以是 简单的界限，例如0≤x≤100；更多是 一般的线性约束或者 表示变量之间复杂关系的非线性不等式。 当目标函数和所有约束都是x的线性函数时，问题是 线性规划问题。 非线性规划问题，其中至少一些约束或目标是非线性函数。 五、 全局和局部优化 对于凸规划来说，局部最优解就是全局最优解。线性规划问题属于凸规划类。然而，一般的 受约束和不受约束的非线性问题，可能局部最优解不是全局最优解。 六、随机和确定性优化 七、 优化算法 优化算法都是迭代的。 他们从最初的猜测开始，并产生一系列改进的估计，直到达到目标。 区分一个算法的关键是：从一个迭代移动到下一个迭代的策略。 迭代策略： （1）利用目标函数f的值，约束条件c，或者是这些函数的一阶和二阶导数。 （2）一些算法累积以前迭代中所收集的信息，而其他算法仅使用当前点的本地信息。 优秀的算法应具有以下属性： （1）鲁棒性 （2）效率 （3）准确性 这些目标可能会出现一些冲突，所以需要一些权衡。