debian系统下配置爬虫环境

1.安装 selenium 环境2.安装Firefox 浏览器3.安装 django

---

1.安装 selenium 环境

sudo pip install -U selenium

出现 ReadTimeoutError: HTTPSConnectionPool类似错误,一般是因为网速太慢, sudo pip —default-timeout=800 install -U selenium(多试几遍)

2.安装 Firefox 浏览器

sudo su apt-get update apt-get install iceweasel

开始运行 Python 脚本报如下错: selenium.common.exceptions.webDriverException:Message:’geckodriver’ executable needs to be in PATH错误

先去这 个https://github.com/mozilla/geckodriver/releases网址下,下载一个最新的类似这种geckodriver-v0.12.0-arm7hf.tar.gz这种文件;然后在该压缩包目录下执行tar -xvf geckodriver-v0.12.0-arm7hf.tar.gz进行解压;接着执行./geckodriver;然后把解压之后的文件移到 sudo cp gecko driver /usr/local/bin/,之后, export PATH=$PATH:/usr/local/bin/;

报以下这种错：（版本不匹配）selenium.comon.exceptions.webdriverException:Message:unable to find a matching set of capbilities

我的环境是 Python2.7.9 + selenium3.4.1+iceweasel45.9+geckodriver12,经测试是 OK 的

3.安装 django

sudo apt-get install python-django

运行Python manage.py rumserver 浏览器输入127.0.0.1:8000/admin 终端下出现 importError: no module named security 解决方法:去到setting.py文件,去掉 django.middleware.security.SecurityMiddleware; 当输入 username,password 进入后台时,出现 no such column:django_content_type.name 这是因为当前版本太低. pip install django—1.8.1(这个不行,执行下面的) 去到 django宽网下载1.9.12的版本 然后解压 root 模式下,执行 Python setup.py install

---