这次的作业主要是完成正则化regularization
完成起来也非常简单，直接将上次作业中的损失函数增加一个权重的正则化方程，这个在tensorflow中有现成的函数
tf.nn.l2_loss(t, name=None)
output = sum(t ** 2) / 2
可以比较下正则化和没有正则化的结果 首先是logistic regression lambda取0.01 可以看出准确率有了一定的提高 之后调整下参数lambda为0.001，测试集上准确率提高了
再比较下neural network的结果 同样地，准确率有了一定提高
这个其实在上次作业中就出现过，样本比较少时，很容易就过拟合了。这里仅仅把样本减少了，并没有去掉正则化。
这里让在神经网络的隐藏层中引入dropout，但需要注意的是，仅仅在训练时用dropout，在评估时不用dropout。否则，评估结果也会是一个随机的。 TensorFlow中有nn.dropout()函数
tf.nn.dropout(x, keep_prob, noise_shape=None, seed=None, name=None)
keep_prob指输出的概率，它在输出时自动进行了缩放，即输出的为输入的1/keep_prob倍，以保证输出的总和不变。
首先看一下没有正则化的结果 由于过拟合比较严重，所以我把正则化参数调的比较大，为0.2,效果没有什么提高，感觉似乎没有收敛，明天再试一下 Initialized Minibatch loss at step 0: 63348.453125 Minibatch accuracy: 9.4% Validation accuracy: 34.7% Minibatch loss at step 500: 1.811313 Minibatch accuracy: 70.3% Validation accuracy: 75.9% Minibatch loss at step 1000: 1.821344 Minibatch accuracy: 64.1% Validation accuracy: 71.2% Minibatch loss at step 1500: 1.680706 Minibatch accuracy: 75.0% Validation accuracy: 75.2% Minibatch loss at step 2000: 1.723629 Minibatch accuracy: 73.4% Validation accuracy: 71.3% Minibatch loss at step 2500: 1.758054 Minibatch accuracy: 78.9% Validation accuracy: 74.8% Minibatch loss at step 3000: 1.758886 Minibatch accuracy: 78.1% Validation accuracy: 74.0% Test accuracy: 80.7% 感觉可能没有收敛，所以调整为0.1，又把训练的步数加多为6001，没有再过拟合了 Initialized Minibatch loss at step 0: 31753.601562 Minibatch accuracy: 6.2% Validation accuracy: 35.1% Minibatch loss at step 500: 1.410312 Minibatch accuracy: 76.6% Validation accuracy: 78.7% Minibatch loss at step 1000: 1.283932 Minibatch accuracy: 82.8% Validation accuracy: 78.8% Minibatch loss at step 1500: 1.363455 Minibatch accuracy: 83.6% Validation accuracy: 78.8% Minibatch loss at step 2000: 1.221968 Minibatch accuracy: 85.9% Validation accuracy: 74.3% Minibatch loss at step 2500: 1.388122 Minibatch accuracy: 81.2% Validation accuracy: 77.1% Minibatch loss at step 3000: 1.347870 Minibatch accuracy: 78.1% Validation accuracy: 78.0% Minibatch loss at step 3500: 1.227877 Minibatch accuracy: 86.7% Validation accuracy: 79.1% Minibatch loss at step 4000: 1.383550 Minibatch accuracy: 81.2% Validation accuracy: 76.4% Minibatch loss at step 4500: 1.172855 Minibatch accuracy: 90.6% Validation accuracy: 75.8% Minibatch loss at step 5000: 1.372749 Minibatch accuracy: 83.6% Validation accuracy: 74.7% Minibatch loss at step 5500: 1.372579 Minibatch accuracy: 79.7% Validation accuracy: 74.1% Minibatch loss at step 6000: 1.294438 Minibatch accuracy: 85.2% Validation accuracy: 78.2% Test accuracy: 84.5%
正则化参数为0.01的结果 Initialized Minibatch loss at step 0: 3503.147949 Minibatch accuracy: 10.2% Validation accuracy: 34.1% Minibatch loss at step 500: 21.165089 Minibatch accuracy: 100.0% Validation accuracy: 80.5% Minibatch loss at step 1000: 0.549533 Minibatch accuracy: 100.0% Validation accuracy: 81.0% Minibatch loss at step 1500: 0.394824 Minibatch accuracy: 100.0% Validation accuracy: 81.3% Minibatch loss at step 2000: 0.340456 Minibatch accuracy: 100.0% Validation accuracy: 81.0% Minibatch loss at step 2500: 0.425891 Minibatch accuracy: 99.2% Validation accuracy: 80.8% Minibatch loss at step 3000: 0.367393 Minibatch accuracy: 100.0% Validation accuracy: 81.1% Test accuracy: 87.3%
再看一下只采用dropout的结果，效果好一点，但仍然是过拟合 Initialized Minibatch loss at step 0: 540.953491 Minibatch accuracy: 7.8% Validation accuracy: 34.9% Minibatch loss at step 500: 1.596583 Minibatch accuracy: 97.7% Validation accuracy: 79.3% Minibatch loss at step 1000: 0.000190 Minibatch accuracy: 100.0% Validation accuracy: 79.9% Minibatch loss at step 1500: 0.000000 Minibatch accuracy: 100.0% Validation accuracy: 80.4% Minibatch loss at step 2000: 0.000000 Minibatch accuracy: 100.0% Validation accuracy: 80.4% Minibatch loss at step 2500: 0.000000 Minibatch accuracy: 100.0% Validation accuracy: 80.3% Minibatch loss at step 3000: 0.000000 Minibatch accuracy: 100.0% Validation accuracy: 80.5% Test accuracy: 87.1%
首先是加了一层神经网络，但是loss一下子就变成了nan 查了下说是很有可能logits为0，因此求导后就变得很大，需要加一个偏差，但是尝试了下没效果。应该是tf.nn.sigmoid_cross_entropy_with_logits（）这个函数已经解决了这个问题。
还有人说是因为网络加深了，需要调节的参数更多了，所以需要把学习速率减小，我调整了之后，发现没有在出现NaN，但是准确率非常低，所以可能是我的损失函数还是有问题？
后来把它们的标准差改为了0.1，效果就非常好了
看了下变量初始化的值，没有约束时，求了下标准差是0.67 一直没懂为什么，后来看到一个回答说主要是由于多层神经网络会使得梯度非常不稳定，导致损失函数变为NaN，最好的解决方法是用Xavier初始化方法，否则初始化的方差非常大，会导致不稳定。
Xavier初始化非常适合ReLu函数，它的思想就是让一个神经元的输入权重的（当反向传播时，就变为输出了）的方差等于：1 / 输入的个数，我也试了一下，结果如下：
还有一个回答是说减小batch size，我也试了下，还是一样的 之前没有用drop out，现在加上看下效果，反而差了些，这个以后再慢慢研究吧
下面就看下学习速率的影响，之前的速率是1，现在改成0.5，准确率有了提高 比较尴尬的是没有drop out的话，准确率达到了94.8%. 现在加上decay，这里用到了函数tf.train.exponential_decay(earning_rate, global_step, decay_steps, decay_rate, staircase=False, name=None) 我把步数也增加到了5001，现在准确率达到了95.0%。 之后可以尝试在加深网路深度，或者用上卷积神经网络。
