Ububtu16.04+GTX1070深度学习小钢炮

    xiaoxiao2021-03-25  116

    硬件系统系统安装Ubuntu具体安装 NVIDIA驱动CUDA cuDNN的安装更换国内源和更改教育网ipv6 hosts配置舒服的工作环境Anaconda36 TensorFlow10 Opencv32

    折腾如下:

    硬件

    GTX1070 I5-6600k 华硕Z170i主板 海盗船DDR4 2400 8G×2 海盗船sfx 450电源海盗船H50水冷GT1850 12cm散热风扇三星NVME SM951 512G SSD银欣SG13b itx机箱

    如果遇到开机点不亮的情况,先排除法,最小系统开机,即只用一个内存条,CPU,核显亮机。一般翻车都翻在内存条和显卡上,重新插拔,注意金手指。 安装系统前记得格盘,换主板最好也全部重做系统,在WIN10安装时候,直接diskport命令下clean,然后convert gpt

    系统

    WIN10Ubuntu16.04.1LTS

    系统安装

    WIN10 UEFI模式安装,推荐使用软碟通(ultraiso)这个软件,正版一个才30块钱,西安的公司,国产良心,买一次终身使用(太好用了我不是广告,支持正版)。这是MSDN的WIN10ed2k链接,1607版本的,貌似是十周年纪念版,我重装N次一直都用的它,感觉挺稳的。 安装教程在WIN10吧有一个很稳的UEFI引导+GPT分区模式安装原版win10的帖子,激活码可以万能的淘宝,销量多的店还好挺负责,重装了激活码如果翻车找客服还给你电话激活,确实原版。正经的原版系统现在并买不起啊。。。 ofiice365正版双十一时候微软官方商城打折都到99rmb一年了,一般淘宝200左右?支持正版! WIN10系统的CUDA和cuDNN安装很easy了,下载安装包一路点点点,cuDNN解压后复制到CUDA对应安装目录即可。

    Ubuntu 我依然是软碟通做镜像UEFI安装,安装前进主板bios,把Fast boot , secure boot全关了,UEFI only (避免翻车)然后开机选boot,U盘启动,熟悉的黑白界面选安装~一路English,安装第三方软件,我不联网,给计算器起名字,然后好像到了选分区了。一般是先WIN后Ubuntu的,这时候硬盘应该有给Ubuntu留好的未分配空间。我习惯给WIN扔三个120G的盘,剩110多的给Ubuntu,WIN的前面有些引导什么的几百兆的不用管,格式是ntfs的都是WIN的地盘,一般的都是dev/sda,nvme的比较特殊清一色的nvme01np1酱的,不要方看到free space,右下角点+开始分区,/boot 先来,我直接扔1G,/根目录,扔50G好了,swap么,因为我这个是ssd,没事擦擦写写硬盘好像也不太好,直接就给16G吧跟内存一样了。剩下的都给home。OK,INSTALL,时区只要在中国境内都是shanghai。 一般不出什么幺蛾子,直接一会儿就提示你重启了,按照这样的安装模式开机过了bios可选界面后就是一个紫红色的grub选择,默认Ubuntu第一个,WIN第三,上下键选了敲回车就OK进系统。

    Ubuntu具体安装

    Anaconda3.6+TensorFlow1.0+CUDA8.0+cuDNN5.1+Opencv3.2..

    1.NVIDIA驱动

    NVIDIA的10系显卡到重启后开机基本翻车,假翻。因为Ubuntu不兹次10系驱动,目前遇到过两种情况,以前的微星b150i重启后直接说不支持当前时序,啥都没有给你个大黑屏,这样情况就先换核显折腾吧。现在的华硕z170i倒是还不错,一副WIN没打驱动的样子分辨率低的感人(要啥自行车,好歹能亮不是 不要方,解决方法有很多,我喜欢这个方法 因为是新装的系统,也没啥旧的nvidia驱动了,不过还是卸载一个?

    sudo apt-get purge nvidia*

    然后干掉Ubuntu自带的nouveau nvidia驱动,刚装的系统木有vim ,gedit这个图形的还不错嘛

    sudo gedit /etc/modprobe.d/blacklist-nouveau.conf

    打开后把这些复制进去

    blacklist nouveauoptions nouveau modeset=0

    保存 ,更新一个

    sudo update-initramfs -u

    接着重启,使用下这个命令看看nouveau有没有被干掉

    lsmod | grep nouveau

    好了如果没了很好,进入纯命令行界面了~~ Ctrl+Alt+F1进入tty1登录自己的账号~~ 接着关掉图形界面

    sudo service lightdm stop

    然后cd到下载好的NVIDIA375.39驱动目录 先给个权限吧

    chmod 777 NVIDIA-Linux-x86_64-375.39.run

    安装!

    sudo ./NVIDIA-Linux-x86_64-375.39.run

    按照操作来就成了 安装完了,命令行往上调俩,把之前那个stop 改成start(懒啊 这下应该到登录界面了,分辨率正常了有木有~~ 这时候推荐更新一波update 和 upgrade,后面upgrade的话容易翻车。。。

    Ps.如果是服务器的u,麻烦了不带核显。。遇到开机黑的情况 进入grub界面后,第三行有一个“高级选项”,选择后,按下“e”键进入编辑模式,找到“linux”那一行,将光标移动到这一行最后,先按下空格键加一个空白,然后输入

    acpi_osi=linux nomodeset 应该可以,待测试 如果你有便宜的亮机卡,先插上去开机也行呀

    2.CUDA cuDNN的安装

    深度学习嘛离不开CUDA和cuDNN,CUDA的下载推荐run格式,这个可以自由选择,尤其是开始选择安装NVIDIA驱动时候,因为我们之前已经安装了最新的375.39,这个26嘛就选n了~ 下载好这个1.4G的文件,cd到目录执行

    sudo sh cuda_8.0.61_375.26_linux.run

    左下角出现一个more了,不要方,这个强制要求你一路敲回车看完的,相当长,把手机或者其他的什么东西压在回车键上,看着满屏字符跑就成了~~ 然后出现选择了,除了第一个安装NVIDIA驱动选个no以外,其他的看提示,基本yes或者默认就好,然后他自己就安装完了,加一个环境变量

    sudo gedit ~/.bashrc export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}} export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}} source ~/.bashrc

    有教程在这步后对/etc/profile文件进行了更改,亲测翻车,重启后显卡驱动损坏,所以在此不进行更改。 网上一致说GCC5+不能支持CUDA的安装,我的5.4的GCC正常安装CUDA,可能是最新CUDA8.0增加了支持?我没有降级GCC。

    我们可以测试一个

    cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery sudo make all ./deviceQuery

    这样会出现下面的图样:

    成功了~ cuDNN相比就简单多了,这里需要一个NVIDIA的开发者账号,注册一个就OK,需要登陆后到cuDNN选择安装包,现在的版本是V5.1 下载完cudnn5.0之后进行解压,cd进入cudnn5.1解压之后的include目录

    sudo cp cudnn.h /usr/local/cuda/include/

    再将cd进入lib64目录下的动态文件进行复制和链接:

    sudo cp lib* /usr/local/cuda/lib64/ cd /usr/local/cuda/lib64/ sudo rm -rf libcudnn.so libcudnn.so.5 sudo ln -s libcudnn.so.5.0.5 libcudnn.so.5 sudo ln -s libcudnn.so.5 libcudnn.so

    或者

    sudo cp -a cuda/include/cudnn.h /usr/local/cuda/include/ sudo cp -a cuda/lib64/libcudnn* /usr/local/cuda/lib64/

    简单粗暴有效 至此CUDA和cuDNN的安装配置结束~撒花

    3.更换国内源和更改教育网ipv6 hosts

    我使用清华源作为替代

    sudo gedit /etc/apt/sources.list

    把网页提供的代码复制到打开的文本编辑器中,以前的源可以自己选择备份。

    下面改hosts

    sudo gedit /etc/hosts

    我使用lennylxx提供的列表,把这些复制到打开的文本编辑器中,旧的hosts可以自己备份。 记得保存重启

    sudo /etc/init.d/networking restart

    搞定了,赶快到这里下载ubuntu版的chrome,没有墙啊胖友们感动的热泪盈眶,这时候教育网可以直连v6了,赶快登录google账号,书签插件密码什么的分分钟回来,热泪盈眶+1

    4 配置舒服的工作环境

    到了这里折腾的可以休息一下,来我们安装一个护眼小软件reshift

    sudo apt-get install redshift redshift-gtk

    可能再需要一些依赖安装,sudo apt -f install一下吧。它可以调节屏幕色温,暖一点不伤眼。

    sudo gedit ~/.config/redshift.conf

    这个可以自己根据喜好设置一下配置,调调色温什么的,以前用f.lux,后来老翻车,这个还是稳定点,设置个autostart就基本不用管了。

    shadowsocks-qt5也是很重要的,我们可以通过ppa源安装

    sudo add-apt-repository ppa:hzwhuang/ss-qt5 sudo apt-get update sudo apt-get install shadowsocks-qt5

    图形界面,打开设置,你懂的。Chrome需要搭配switchyomega来游览长城风景区,放一个你懂的列表,附送一个教程.

    网易云音乐,搜狗输入法,有道词典,福昕阅读器也都有ubuntu对应版本,软件中心就是个坑,推荐用命令行安装

    sudo dkpg -i xxx.deb sudo apt -f install #如果缺少依赖环境

    如果是run文件就按sudo ./xxx.run 安装即可。 最后安装个IDE吧 ,Pycharm很好用的,直接下载安装包解压,我给扔到/home了,运行时候也很简单,先cd到pycharm的/bin目录下,执行

    ./pycharm.sh

    即可,不需要用sudo谢谢 **值得一提的是这个捷克的jetbrains公司很支持教育事业,edu邮箱可以申请学生优惠,在毕业前都可以免费使用jetbrains旗下的所有软件!谢谢jetbrains公司,毕业上班了我肯定会买一个正版的。。。jetbrains在大陆地区支持支付宝购买,有能力的话支持一个吧! 学生优惠每次就放一年,这个问了下销售代表,优惠在到期后可以继续续约。**

    5. Anaconda3.6 + TensorFlow1.0 + Opencv3.2

    Anaconda这里我用的是目前最新的python3.6版本,安装按照官网的说明

    bash Anaconda3-4.3.0-Linux-x86_64.sh

    这个也需要敲一会儿回车,不过很快就好了~~嫌弃速度慢的用清华的镜像下载 过程中有询问是否添加环境变量的选y就好,自动就加到~/.bashrc里面了。 自带大堆科学计算包,懒人必备。 好了更新下conda国内镜像吧,我还是用清华源

    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --set show_channel_urls yes

    这样就吼了

    吼,折腾了这么多我们终于可以上正菜TensorFlow了,没办法啊就是折腾,你们看的累我敲着也累啊╮(╯_╰)╭ 我们在anaconda下进行TensorFlow的安装,因为现在python解释器已经是anaconda了(你的tf在我手上o(*≧▽≦)ツ┏━┓)

    我们按照官网的教程 搞一个虚拟环境

    conda create -n tensorflow #名字想起啥起啥 source activate tensorflow #唤醒一个

    好了好了,鸡冻人心的时候到了,如果你不翻过长城的话(有时就是翻了也未必有速度),还是用我们的清华源,中西结合一下,运用GPU加速的cp36版本的就可以这么安装

    (tensorflow)$ pip install --ignore-installed --upgrade \ -i https://pypi.tuna.tsinghua.edu.cn/simple/ \ https://mirrors.tuna.tsinghua.edu.cn/tensorflow/linux/gpu/tensorflow_gpu-1.0.0-cp36-cp36m-linux_x86_64.whl

    接下来他自己就安装好了,import一下吧

    一颗赛艇!

    我们打开pycharm,import一下发现出了偏差,具体错误我忘了囧,说下解决吧

    打开你的pycharm.sh,在第187行左右吧,加一个CUDA的环境变量

    LD_LIBRARY_PATH='/usr/local/cuda-8.0/lib64'

    为了防止找不到,来个这片区域的截图

    一颗赛艇!

    下面来折腾Opencv,要装就装新的,目前坠新的是3.2,此处参考Jason的博客,谢谢Jason。 - 下载opencv-3.2安装包,这里Jason给出了一个百度网盘。 - 安装依赖环境:

    sudo apt-get install build-essential sudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev sudo apt-get install python-dev python-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev

    解压下载的安装包,cd到目录中,创建一个build文件

    cd到build中,进行cmake,此处我的环境比较特殊所以是按照以下命令执行的

    cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local -D CUDA_ARCH_BIN=6.1 -D CUDA_ARCH_PTX=6.1 -DBUILD_opencv_python2=OFF -DCMAKE_INSTALL_PREFIX=$(python3 -c "import sys; print(sys.prefix)") -DPYTHON3_EXECUTABLE=$(which python3) -DPYTHON3_INCLUDE_DIR=$(python3 -c "from distutils.sysconfig import get_python_inc; print(get_python_inc())") -DPYTHON3_PACKAGES_PATH=$(python3 -c "from distutils.sysconfig import get_python_lib; print(get_python_lib())") ..

    如果要用系统的原生cp27版本的话,只用

    cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local -D CUDA_ARCH_BIN=6.1 -D CUDA_ARCH_PTX=6.1 ..

    即可 因为我的1070的CUDA计算能力是6.1所以cmake中出现了两个6.1,根据个人显卡计算能力进行更改

    *cmake过程中可能遇到的问题: 如果网络不好,出现ippicv_linux_20151201.tgz无法在终端下载的情况,则可以先单独下载ippicv_linux_20151201.tgz之后,把其移动到终端所提示的路径(终端会提示该路径找不到文件) 如路径/opencv-3.2.0/3rdparty/ippicv/downloads/linux-808b791a6eac9ed78d32a7666804320e/*

    cmake结束后,执行make all命令,不要sudo 接着就是漫长的等待,如果出现了偏差,不要方,看问题google之 顺利的话应该会结束,然后sudo make install,等待结束,好了opencv就安装吼了。

    最后需要

    pip install opencv-python

    这下进python环境,执行import cv2操作就可以了!

    就先写到这吧,最近固态硬盘掉盘一次,也可能跟我更换主板后没有格式化硬盘有关,遂格掉整个硬盘全部重装,目前工作正常,记录下折腾经过防止以后再折腾想不起来咋折腾。。。

    转载请注明原文地址: https://ju.6miu.com/read-7995.html

    最新回复(0)