爬虫奇遇记——等待访问处理办法

    xiaoxiao2021-03-25  138

    有时候一些网站访问时间超级慢,爬虫一直在等待访问,没有访问就不执行下一步代码,这时我们可以通过超时设置来控制,当爬虫超过一定时间还没有访问到内容时,退出访问,执行下一步代码。参数是timeout。

    #coding:utf-8 import urllib2 try: url = "http://www.baidu.com" f = urllib2.urlopen(url, timeout=0) #timeout设置超时的时间 result = f.read() print result except Exception,e: print 'a',str(e)

    在requests包中 requests.get(url, timeout)
    转载请注明原文地址: https://ju.6miu.com/read-5453.html

    最新回复(0)