Cross-entropy cost

cross-entropy函数作用是让神经网络学习的更快 偏导数,大小决定了学习的快慢 我们先看一个简单的模型，只有一个输入，一个神经元，一个输出 一.cost函数的模型为 对于单个的神经元有 其中a = σ(z), z = wx + b; 则有! 假设x=1,y=0 同理可以得到 从上面可以看出偏导数的大小决定于sigmoid函数的倒数， 从sigmoid函数的图像可以看出当输出接近1或者0的时候，曲线平缓， 很小，学习很慢

二.cross-entropy函数 定义cross-entropy函数 为什么能用来做cost函数 1.函数值大于0 2.当a=y的时候cost等于0 同理对c求w，b的偏导数 根据上面三个公式可以得到 同理可以得到 从上面两个公式可以看出他们学习的快慢取决于也就是输出error，error大的时候，更新多，学习快，error小的时候更新少，学习慢。