前馈神经网络（Feedforward Neural Networks, FNNs）在众多学习问题，例如特征选择、函数逼近、以及多标签学习中有着不错的应用。 针对训练前馈网络的学习算法，目前已经有不少研究者提出了新颖的研究结果，但是其它相关问题的研究却不多，例如连接权值初始化、知识提取、几何解释、网络稀疏化等。权值初始化过程通常会对网络的性能有很大影响，目前广泛采用的方式是随机生成一些较小的权值系数，然后在训练过程中不断对其进行修改，因此可能会遇到一些问题，例如局部最优、训练速度慢、或者网络性能不足。目前还并没有一套工具，可以对给定的训练样本和网络结构生成一个相对较好的初始网络权值。 这篇论文对目前的前馈网络的权值初始化方法做了一个深度介绍： （1）Statistically Controlled Activation Weight Initialization [2]. 该方法适用于浅层FNNs，它定义了两种神经元的活动状态：饱和状态和瘫痪状态，当神经元输出大于一定值即处于饱和状态，小于一定值则处于瘫痪状态。 初始化公式： 另外， 对不同层连接权值的初始化，依赖于上一层神经元的输出。 （2）Weight Initialization for Parametric Estimtion [3]. 该算法主要适用于单隐层的前馈网络，依赖于输入和输出矩阵的奇异值分解（SVD）. （3）Clustering-based Weight Initialization [4]. 该算法主要分为 a、生成分簇，如k-means、学习矢量化（LVQ）分簇方法； b、构建网络； c、网络优化。 具体算法的理论推导和分析见参考文献。 Reference： [1] Celso A. R. de Sousa. An overview on weight initialization methods for feedforward neural networks. International Joint Conference on Neural Network, 2016. [2] G. P. Drago, S. Ridella. Statistically controlled activation weight initialization (SCAWI). IEEE Transactions on Neural Networks, vol. 3, 1992. [3] P. Costa, P. Larzabal. Initialization of supervised training for parametric estimation. Neural Processing Letters, vol. 9, 1999. [4] N. Weymaere, J. P. Martens. On the initialization and optimization of multilayer perceptrons. IEEE Transactions on Neural Networks, vol. 5, 1994.
