爬虫MOOC 第一周 入门

Python网络爬虫与信息提取

讲师：嵩天

第一步 安装测试Request库

# -*- coding:utf-8 -*- import requests r = requests.get("http://www.baidu.com") # requests 是 Response对象，包含了爬虫返回的内容 # get 是 Request对象 print r.status_code # 200 表示链接上了，404 表示失败 r.encoding = 'utf-8' print r.textPython

===========================================================================

======================================================================================

上 http://www.jd.com/robots.txt

可以看见 robots 协议。

robots 协议一定在网站根目录。

User-agent: * #任何来源的爬虫 Disallow: /?* #任何爬虫都不能访问 ?* 数据 Disallow: /pop/*.html #任何爬虫都不能访问 /pop/*.html， 其中 / 表示根目录 Disallow: /pinpai/*.html?* User-agent: EtaoSpider # 这四种爬虫都不能爬京东的任何资源 Disallow: / User-agent: HuihuiSpider Disallow: / User-agent: GwdangSpider Disallow: / User-agent: WochachaSpider Disallow: /

那么爬虫要遵守这个协议，除非访问量非常小。

============================================================

实例1：京东爬虫

http://item.jd.com/2967929.html

以这个网页为例子：

# -*- coding:utf-8 -*- import requests url = "http://item.jd.com/2967929.html" try:     r = requests.get(url)     r.raise_for_status() # 如果失败则返回错误，直接跳到 except     r.encoding = r.apparent_encoding      # 编码方式为自动选择为apparent_encoding     # r.encoding = 'GBK' # 这个网页编码是GBK     print r.text[:1000] # 前1000个字符 except:     print("爬取失败")

============================================================

实例2：亚马逊爬虫

https://www.amazon.cn/gp/product/B01M8L5Z3Y

亚马逊会拒绝实例1的爬虫，返回错误503，因此要更改一下头部信息。

# -*- coding:utf-8 -*- import requests kv = {'user-agent':'Mozilla/5.0'} #重新定义 user-agent 内容，模拟浏览器 url = "https://www.amazon.cn/gp/product/B01M8L5Z3Y" try: r = requests.get(url, headers = kv) r.raise_for_status() # 如果失败则返回错误，直接跳到 except # 亚马逊这里是错误 503 r.encoding = r.apparent_encoding # 编码方式为自动选择为apparent_encoding # r.encoding = '...' # 这个网页编码是... print r.text[:1000] # 前1000个字符 except: print("爬取失败")

============================================================================

实例3：百度/360搜索关键词提交

Baidu关键词接口：

http://www.baidu.com/s?wd=keyword

360关键词接口：

http://www.so.com/s?q=keyword

# -*- coding:utf-8 -*- import requests kv = {'wd':'Python'} # 关键词 Python try: r = requests.get("http://www.baidu.com/wd", params = kv) # 通过 params 注入关键词 r.raise_for_status() # 如果失败则返回错误，直接跳到 except print r.request.url # 打印 url 发现加入了关键词 print len(r.text) # 打印返回信息的大小 except: print("爬取失败") 360同理，我们小小变化一下：

# -*- coding:utf-8 -*- import requests keyword = 'Python' # 关键词 Python try:     kv = {'q':keyword}     r = requests.get("http://www.so.com/s", params = kv) # 通过 params 注入关键词     r.raise_for_status() # 如果失败则返回错误，直接跳到 except     print r.request.url # 打印 url 发现加入了关键词     print len(r.text) # 打印返回信息的大小 except:     print("爬取失败")

返回的信息都很长，这里就别打印了，看看长度就行了。

===========================================================================

实例4：网络图片的爬取和存储

网络图片链接格式：

http://www.example.com/picture.jpg

实际链接：

http://image.nationalgeographic.com.cn/2017/0211/20170211061910157.jpg

# -*- coding:utf-8 -*- import requests import os root = "C:\Users\Administrator\Desktop\Python\MOOC\ " # 保存在这里 url = 'http://image.nationalgeographic.com.cn/2017/0211/20170211061910157.jpg' path = root + url.split('/')[-1] #path 为 root 加上 url中 / 分割的倒数第一部分 try: if not os.path.exists(root): # 如果路径不存在 os.mkdit(root) #新建文件夹 if not os.path.exists(path): # 如果文件不存在 r = requests.get(url) with open(path, 'wb') as f: # 打开了一个文件，定义为文件标识符 f f.write(r.content) # 返回的内容 r.content 写入文件中，r.content 是文件的二进制形式 f.close() # 关闭文件 print "Picture have been saved successfully." else: print "Picture already existed." except: print "Fail."

现在打开文件夹看看，发现已经存在啦~ ==================================================================================

实例5： IP 地址归属地的自动查询

www.ip138.com

这个网站的 IP 地址输入接口为：

http://m.ip138.com/ip.asp?ip=ipaddress

import requests url = 'http://m.ip138.com/ip.asp?ip=' try: r = requests.get(url + '202.204.80.112') r.raise_for_status() r.encoding = r.apparent_encoding print r.text[-500:] # 倒数500字节 except: print "Fail." 这个例子的意义在于说明人机交互提交信息都是以url链接的形式提交的。

=======================================================================