3.2 神经网络基本结构及梯度下降算法

    xiaoxiao2021-12-15  42

    3.2 大白话:神经网络基本结构及梯度下降算法 每个输入层都是和隐藏层相连接的,每个输入的连接是:输入值乘以权重加上的偏置,经过sigmoid function得到下一层的值。 深度学习的深度体现在,隐藏层的多上面。 这张图片是28*28的建立一个两层(输出层不计算在内)的神经网络: 中间层可以自己设定,输出是几类的,就是几个输出神经元。 隐藏层学到的是从像素数级别到语义级别的一部分特征。 梯度下降算法: MNIST数据集的图片 代价函数: y是数据集的标签,x是一个784维度的向量。我们的目的是通过目标函数,训练出来权重和偏置。 更新方程:学习率n是这一步下降的的大小。有可能是局部最优。我们也可以让学习率是变化的,例如在刚开始的时候让他大一些,让他接近最优的时候变小,有助于学习。 接下来用数学推导一下。假设目标函数是C他有两个变量V1和V2 在上述中的v1和v2就是神经网络的w和b。 传统梯度下降算法太慢,一般用的是随机下降算法。
    转载请注明原文地址: https://ju.6miu.com/read-1000408.html

    最新回复(0)