python 2.7.13安装scrapy教程

作为一个Python新手，自己折腾了两天才终于算是弄好了，期间尝试过各种各样的方法，也尝试了各种各样的安装包的版本，终于算是弄好了，我看网上的教程大多太旧，这里简单写一下新版的！这里我把我使用文件打包上传了，怕麻烦的朋友可以从这里下载：点击打开链接

操作系统：

Windows 7 64bit

python版本：

2.7.13

1.安装Python

安装的过程中可以选择自动将环境变量添加到系统中，省去了手动添加的麻烦，如果安装Python的过程中没有添加的环境变量的话，如何添加请自行百度/goole! 安装完成后验证是否安装成功： C:\Users\Administrator>python成功提示：Python 2.7.13 (v2.7.13:a06454b1afa1, Dec 17 2016, 20:42:59) [MSC v.150Intel)] on win32Type "help", "copyright", "credits" or "license" for more information.

2.安装pywin32

在windows下，必须安装pywin32，安装地址：http://sourceforge.net/projects/pywin32/

下载对应版本的pywin32，直接双击安装即可，安装完毕之后验证：

在python命令行下输入

import win32com

如果没有提示错误，则证明安装成功

3.安装pip

python2.7.9以后pip都已经内置了，所以这里你只需使用pip或pip --version命令验证pip是否已经安装！ 如果没有安装的话打开以下网址将网页内所有代码复制保存为 get-pip.py文件，然后在用Python get -pip.py install命令安装即可！ https://bootstrap.pypa.io/get-pip.py

4.安装pyOPENSSL

这里我安装的是pyOpenSSL-0.13.1.win32-py2.7.exe，版本不对的话导致后续错误，这里吐槽一下历年来发型的无数版本啊， 根本不知道要装哪个才会好用，装了N多次才尝试到这个是好用的！ 验证安装： import OpenSSL 没有任何错误提示即为安装成功！

5安装twisted以及lxml

和 pyOPENSSL一样，如果装的版本过高或过低都会导致错误，啊啊啊啊啊啊啊啊！！！！ 这里我装的是Twisted-15.0.0.win32-py2.7.msi 安装 lxml直接执行如下命令 pip install lxml 就可完成安装，如果提示 Microsoft Visual C++库没安装，则 点我 下载支持的库。

6.安装Scrapy

最后就是激动人心的时刻啦，上面的铺垫做好了，我们终于可以享受到胜利的果实啦！

执行如下命令

1 pip install Scrapy

pip 会另外下载其他依赖的包，这些就不要我们手动安装啦，等待一会，大功告成！

7.验证安装

输入 Scrapy

如果提示如下可用命令，就证明安装成功啦，如果失败了，请检查上述步骤有何疏漏。

Scrapy 1.3.3 - no active project Usage: scrapy <command> [options] [args] Available commands: bench Run quick benchmark test commands fetch Fetch a URL using the Scrapy downloader genspider Generate new spider using pre-defined templates runspider Run a self-contained spider (without creating a project) settings Get settings values shell Interactive scraping console startproject Create new project version Print Scrapy version view Open URL in browser, as seen by Scrapy [ more ] More commands available when run from project directory Use "scrapy <command> -h" to see more info about a command

8测试scrapy

这里建议安装成功后使用scrapy bench 命令测试一下，如果没有任何ERROR即为成功！

9关于Anaconda

这里我还有一个地方不太明白，在这里跟大家说一下，如果有人遇到这样的错误也许能节省一些时间！

一开始我因为不太懂Python，觉得各个组件的安装实在太繁琐，刚好又在百度上看到有人说可以先安装Anaconda原文，然后使用

conda install scrapy

直接安装，整个安装过程变得非常简单无脑，然而我安装完成后从视频教程中拷贝了一个简单的爬虫就遇到了下面的错误：

TypeError: 'float' object is not iterable 这个问题困扰了我两天，去各大论坛什么的都没有人说过，直到我把所有有关Python的全部卸载重新安装，什么都不做直接用 使用 scrapy bench 命令测试就会有 上述错误，我才知道这样安装可定有问题，至于多加了参数以后使用anaconda的安装还会不会有上述错误我就不知道了，有时间的朋友可以尝试一下。 Anaconda下安装Scrapy 2017/04/05更新： 使用Anaconda安装按照官方文档的命令： conda install -c conda-forge scrapy安装，安装完成后使用： scrapy bench命令测试，没有报错，安装成功！