Caffe-AlexNet-Finetuning

    xiaoxiao2021-03-25  124

    参考:

    http://blog.sina.com.cn/s/blog_609c4e720102w1f2.html

    http://www.cnblogs.com/louyihang-loves-baiyan/p/5038758.html http://blog.csdn.net/tonyyang1995/article/details/51814318 http://blog.csdn.net/u012878523/article/details/41698209

    http://www.cnblogs.com/alexcai/p/5469478.html

    所谓fine tune就是用别人训练好的模型,加上我们自己的数据,来训练新的模型。fine tune相当于使用别人的模型的前几层,来提取浅层特征,然后在最后再落入我们自己的分类中。

    fine tune的好处在于不用完全重新训练模型,从而提高效率,因为一般新训练模型准确率都会从很低的值开始慢慢上升,但是fine tune能够让我们在比较少的迭代次数之后得到一个比较好的效果。在数据量不是很大的情况下,fine tune会是一个比较好的选择。但是如果你希望定义自己的网络结构的话,就需要从头开始了。

    fine tuning中最重要的两个文件是solver.prototxt和train_val.prototxt。

    1、train_val.txt文件(或train.txt):

           train_val.prototxt文件中的内容是fine tuning网络的结构,transform_param中的mean_file是我们使用的原始模型的数据集平均值(针对AlexNet是imagenet_mean.binaryproto)。image_data_param中的source数据是我们fine tuning时自己的数据集(记得分清TRAIN和TEST数据集,无论是TRAIN还是TEST,transform_param中的mean_file是一样的。有时可能只有TRAIN而没有TEST)。对于source,我们既可以使用自己数据集产生的lmdb文件;也可以使用原始图片信息的数据,记得这样的数据一定要有标注(标注类别顺序错乱不影响)。在使用原始图片信息时,可以使用source指向标注信息列表文件train.txt,而root_folder指向原图片地址path,即一个指针指向的关系,执行时即读出(path)/(train.txt的内容)得到图片具体信息。

           (若属于同一文件夹,则可以不必如此麻烦,如新建一个文件夹mine,在mine文件夹下新建train和val文件夹,train文件夹下新建bird和dog两个类文件夹分别存放200张bird和200张dog,另外在mine文件夹下新建两个txt文件:train.txt和val.txt,列出对应图片名及其标签bird/bird1.jpg 1,则执行时即为读取  mine/bird/bird1.jpg 1)         其余的事项即是注意layer的调整         如果,前两层中出现了phase为TRAIN和TEST,那么我们最后的phase为TEST;         如果前面层中只出现了一次phase为TRAIN,那么我们最后的phase为TRAIN。

    2、solver.prototxt

            文件表示的fine tuning网络参数调整:         net是网络结构,即是上面的train_val.prototxt的路径         snapshot_prefix用于存储训练过程中的中间结果,可以同时命名X,产生结果后其正式结果为X_iter_xxx.yyy          其他参数解释可以见上述参考文章blog

    3、开始训练  

            训练时,是处于caffe目录下进行训练,在修改完solver 和train_val 之后,就可以尝试train了         进入caffe 根目录执行:        ./build/tools/caffe train -solver /路径/solver.prototxt -weights /路径/原模型(如用训好的alexnet模型去fine tuning MIT67数据,此时这里应该是已经训好的alexnet模型   /路径/caffe_alexnet_train_iter_450000.caffemodel)         要是训练到一半退出了,caffe会保存一个snapshot,我们可以重新恢复训练        ./build/tools/caffe train -solver /路径/solver.prototxt -snapshot /路径/上次训练的结果.solverstate         记录日志用 --log_dir=yourdesiredpath

    转载请注明原文地址: https://ju.6miu.com/read-23313.html

    最新回复(0)