Python3 Scrapy 安装方法 (一脸辛酸泪)

    xiaoxiao2023-03-25  9

    写在前面

    最近在学习爬虫,在熟悉了Python语言和BeautifulSoup4后打算下个爬虫框架试试。 没想到啊,这坑太深了。。。

    看了看相关介绍后选择了Scrapy框架,然后兴高采烈的打开了控制台,

    pip install Scrapy

    坑出现了。。。。

    运行报错

    error: Unable to find vcvarsall.bat

    开始上网查解决方法。。 看了大多数方法,基本上的解决方法就是下载版本对应的visual studio,但是也太大了。。。。。。而且网速看不下去啊。。。

    最后花费了将近一天的时间,终于找到了解决方法。

    使用wheel安装。

    这个网站里边是编译好的各种库的 http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

    同时,推荐一篇我的Scrapy入门实例博客:

    scrapy爬虫框架入门实例

    希望可以帮到刚接触python和scrapy的同学。

    安装方法

    首先安装wheel

    pip install wheel

    安装完成后验证是否成功

    wheel

    安装成功是这样

    然后去上边的网站下载Scrapy库, 进到网站=>搜索’Scrapy’=>下载

    把下载的.whl文件放在一个容易寻找的地址(我放在了D:\) 然后在控制台进入该地址 在该地址下输入

    pip install [whl]

    注:[whl]表示你的.whl文件,一定要全名,XXXX.whl

    然后,并没有结束。。。。。

    安装过程还是有可能失败

    可能会出现

    Failed to build XXXX

    之类的提示一闪而过(比如说我提示的 twisted),最后安装失败还是提示

    error: Unable to find vcvarsall.bat

    为什么会这样那,因为Scrapy框架基于Twisted

    所以,要做的就是去网站下载Twisted之类的安装文件,先把它们装上,安装方法和上边的相同。

    最后终于成功了。 建个项目测试一下

    scrapy startproject pyjy

    注:pyjy为项目名

    成功了,撒花~~

    转载请注明原文地址: https://ju.6miu.com/read-1203517.html
    最新回复(0)