有时候一些网站访问时间超级慢,爬虫一直在等待访问,没有访问就不执行下一步代码,这时我们可以通过超时设置来控制,当爬虫超过一定时间还没有访问到内容时,退出访问,执行下一步代码。参数是timeout。
#coding:utf-8
import urllib2
try:
url = "http://www.baidu.com"
f = urllib2.urlopen(url, timeout=0) #timeout设置超时的时间
result = f.read()
print result
except Exception,e:
print 'a',str(e)
在requests包中
requests.get(url, timeout)
转载请注明原文地址: https://ju.6miu.com/read-5453.html