1. 神经网络
首先引入一些便于稍后讨论的新标记:
$L$:代表神经网络层数$S_l$:代表第$l$层处理单元的个数$K$:代表多分类中类别种数
2. 前向传播(forward propagation)
以上图为例:
令$\textbf{z}^{(2)} = \Theta^{(1)}\textbf{x}$,则$\textbf{a}^{(2)} = g(\textbf{z}^{(2)})$,计算后添加 $a_0^{(2)} = \textbf{I}$令$\textbf{z}^{(3)} = \Theta^{(2)}\textbf{a}^{(2)}$, 则输出$h_{\Theta}(\textbf{x}) = \textbf{a}^{(3)} = g(\textbf{z}^{(3)})$
具体计算如下图:$g(z)$:代表神经元激活函数$a_i^{(l)}$:代表第$l$层第$i$个激活单元$\Theta_{mn}^{(l)}$:代表第$l$层映射到第$l+1$层是权重矩阵,$m$是第$l+1$层激活单元数,$n$是第$l$层激活单元数+“偏置单元”
3. 反向传播(backpropagation propagation)
代价函数:
转载请注明原文地址: https://ju.6miu.com/read-500315.html