网络爬虫的尺寸： 一般来讲，这个尺寸可以分为三类， 第一类是比较小规模的，数据量小爬取的速度不敏感，一般用的是requests库，适用于我们自己爬取网页，玩转网页， 第二类是中规模的，数据规模较大的，爬去速度敏感的scrapy库，适用于我们进行爬取网站。 第三类是大规模的，搜索引擎爬取的速度关键，这样的，一般需要定制开发 网络爬虫的限制： 1，来源审查，利用user-agent进行限制，检查来访的http协议头的user-agent域，只响应浏览器或友好爬虫的访问，但是对后期维护人员，就需要一定的技术能力的支撑。 2.发布公告：robots协议(在网站的根目录下) 告知所有的爬虫网站的爬取策略，要求爬虫们遵守。 user-agent:* disallow：不允许爬取
转载请注明原文地址: https://ju.6miu.com/read-6643.html
