Abstract
本文主要回顾了估计精度，模型管理方法，模型构建方法
1 Introduciton
目前适应值估计的常用方法：
多项式高斯过程前馈神经网络SVM模型管理：估计模型和真实函数应该共同使用如何提高估计模型的精度
模型的选择数据的采样和权重训练方法的选择误差测量的选择
2 Motivations 使用估计模型的一些原因
适应值的计算十分费时没有明确的计算模型有环境噪声函数是多模态的（波动较多，不够平滑）
在不改变全局最优值位置的情况下，让估计模型逼近原函数且平滑掉一些局部最优值。推荐：使用Gaussian kernel来实现coarse-to-fine地平滑化real function
3 估计的层次
问题估计problem approximation
用一个更简单的近似问题来替代原问题（e.g.实验变仿真，3D变2D）函数估计functional approximation
构造一个显示表达式来替代原目标函数进化估计evolutionary approximation
“适应值继承”方法：用父代的适应值来评估子代的适应值“适应值模仿”方法：将所有个体聚类，只评估每类中代表性个体的适应值。再用它的适应值来评估其他个体的适应值
4 适应值估计模型的使用位置
4.1 估计模型可用于何处？
子种群之间个体的迁移种群初始化；引导交叉；引导变异
由于初始化、交叉、变异本身是随机的，因此即便是用一个低精度模型来引导，也会比完全随机的要好。然而，适应值评估的减少可能不是很显著。适应值评价【使用最多的地方】
文献[22]：通过计算出适应值估计的置信区间，以修改模型预测，以便鼓励算法探索未知区域4.2 模型管理or进化控制
将估计模型用于适应值评价是最有效的。其中，主要有两点需要考虑：
首先，确保算法收敛到全局最优/近似全局最优其次，尽可能减少计算代价估计模型和real function需要一起使用——模型管理
实际函数用于评价部分个体or某些代的全部个体
由real function评价的个体称为controlled individual由real function评价全部个体的代称为controlled generation模型管理的分类：
No evolution control 完全不使用real function，只用估计模型Fixed evolution control
individual-based 每一代中，部分个体用估计模型评价，部分个体用real function评价：
best strategy:估计模型认为最好的个体，用real func重新评估random strategy:随机选择个体，用real func重新评估generation-based
方法一：当算法收敛到估计模型的时候，启用一次real funciton评估方法二：固定几代中进行一次real funciton评估缺点：由于估计模型的精确度会不断变化，事先固定的进化控制策略+模型误差会导致优化过程中的强烈震荡Adaptive evolution control
使用real function的频率应随着估计模型的精度而变化
5 估计模型
5.1 多项式模型5.2 高斯过程模型（Kriging model)
全局模型+局部偏移优点：可以得到置信区间（估计值的精确度）缺点：需要计算矩阵的转置。当维度较高，计算代价增加。5.3 神经网络
常见：前馈多层感知器、径向基函数网络5.4 SVM
优点：在学习过程中没有局部最小值，泛化误差不依赖于空间的维度5.5 点评 模型的好坏没有固定的评判标准，因为需要依赖问题来判断。不过仍有一些通用的认识：
先用简单的估计模型，看看能否拟合训练数据；如果不行，再改用更高复杂度的估计模型，例如高阶多项式or神经网络。然而，如果输入空间是高维的且采样数据很有限，则推荐神经网络。要估计二阶多项式模型的未知参数，至少需要（n + 1）×（n + 2）/ 2个数据样本如果使用神经网络，尤其是多层感知器网络，需要考虑调节模型复杂度来防止过拟合如果发现基于梯度下降的方法收敛缓慢，则可能还需要尝试其他更有效的训练方法[68]在一些研究中，RBF网络发现具有良好的准确性和快速性[78,35]
6 数据采样技术
当在进化计算中使用估计模型时，离线和在线训练都要涉及到。
离线学习：估计模型在用于进化计算之前的训练过程（可以用蒙特卡洛方法得到数据）在线学习：估计模型在优化过程中的更新6.1 离线数据采样
DoE
OACCDD-optimalityActive learning 主动学习
基本思想：以优化某个目标函数的方式选择下一个采样数据的位置。 该目标函数可以是信息增益，熵减少或泛化误差。优点：在不增加采样个数的情况下，提高神经网络的泛化能力6.2 在线数据采样
已经收集到数据之后，如何有效地选择一个数据的子集用来训练模型也很重要。Bagging & BoostingActive data selectionData weighting guided by evolution
7 讨论
缺乏理论证明全局模型or局部模型？
局部模型更简单可行在哪里使用估计模型？
用于迁移——不太有效用于各种算子——对模型精度要求较低，但不确定能节省多少适应值计算代价用于适应值评估——最有效地减少适应值计算次数，但是低质量模型可能会误导算法未来研究方向：
设计更好的学习方法（来构建估计模型）
可能方式一：结合问题类型可能方式二：结合先验知识变输入维度时的估计模型如何处理带有一般非线性约束的问题管理不同层次的估计模型
