Python爬虫模拟登陆知乎

还没有写过博客，这个就算是给自己开个头吧。最近对Python爬虫比较感兴趣，刚刚入了门，就准备先模拟登陆知乎感受一下，过程也是挺艰辛的，就记录一下吧。

想想只要给用户名、密码、验证码然后Post一下就可以开开心心的登陆进去了，于是就抓紧行动起来。

Step 1:打开知乎登陆页面，准备登陆。

https://www.zhihu.com/#signin #知乎登陆页面

　　这里我登录输入的验证码采用手动方式，即通过保存上面登陆页面的验证码到本地，然后手动输入。于是动手准备获取<img>标签下的src属性值，就是下面图里的src。快快编了一小段代码发现我果然图样了，获取到的src竟然是None。后来查找原因发现，虽然在开发者工具中可以看到<img>的src属性值，但其实验证码是动态生成的，于是抓包找到登陆页面请求的验证码图片地址，下面是编写的代码和欺骗了我的图。

#该url用于打开知乎登陆页面 url = 'https://www.zhihu.com/#signin' res = self.session.get(url) print res.content

　　这个是我们真正要去请求图片验证码的地址。

#参数r返回的当前时间,第二个参数为登陆类型 https://www.zhihu.com/captcha.gif?r=1471097787070&type=login

Step 2:获取图片验证码

# 该captcha_url用于打开知乎验证码图片 captcha_url = 'https://www.zhihu.com/captcha.gif?r=%d&type=login' % (time.time() * 1000) def save_captcha(self, captcha_url): res = self.session.get(captcha_url) filename = 'zhihu_captcha.jpg' with open(filename, 'wb') as f: f.write(res.content) 　　这样一来就搞定了验证码的问题，下面就可以考虑输入用户名、密码、验证码去登陆了，通过抓包发现，登陆知乎需要下面的参数，也就是除了用户名、密码、验证码外还有个_xsrf和remember_me，这里主要是获取_xsrf参数，发现html源代码里就有_xsrf参数，不用到别的页面去取喽！ # 获取xsrf参数 xsrf = _get_xsrf(res.content) #获取知乎的xsrf字段 def _get_xsrf(html): class XSRFParser(HTMLParser): def __init__(self): HTMLParser.__init__(self) self.xsrf = None def handle_starttag(self, tag, attrs): if tag=='input' and _attr('name',attrs)=='_xsrf': self.xsrf = _attr('value',attrs) xsrfParser = XSRFParser() xsrfParser.feed(html) return xsrfParser.xsrf #自己实现的_arrr获取html属性用 def _attr(attrname, attrs): for attr in attrs: if attr[0]==attrname: return attr[1] return None

Step 3:登陆知乎

　　验证码有了，_xsrf有了，这下终于可以登录了，真正接收用户名、密码等参数的是下面这个链接，邮箱登录的话应该是/email

post_url = 'https://www.zhihu.com/login/phone_num'

　　构造好我的HTTP头和要Post的数据准备登陆。

phone_num = '你注册时的手机号' password = '你的密码' post_url = 'https://www.zhihu.com/login/phone_num' headers = {'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 'Accept-Encoding':'gzip, deflate, sdch, br', 'Accept-Language':'zh-CN,zh;q=0.8', 'Connection':'keep-alive', 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36', 'X-Xsrftoken':xsrf } data = {'_xsrf':xsrf, 'phone_num':phone_num, 'password':password, 'remember_me':'false', 'captcha':captcha } post_res = self.session.post(post_url, data=data, headers=headers) print post_res.content

　　虽然代码写的丑，但是终于看到服务器返回正确的结果了，Nice。(按耐不住我激动的内心啊)

{"r":0, "msg": "\u767b\u5f55\u6210\u529f" }

　　当然最重要的还是登陆失败的过程： 　　登陆时总是会出现”errcode”: 1991829,ERR_VERIFY_CAPTCHA_SESSION_INVALID 　　可能原因有以下几个： 　　1.访问知乎时构造的HTTP头没有修改，比如没有修改User-Agent

self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36'}

　　2.访问知乎图片验证码时没加type=login参数，这个很重要。

参考： https://zhuanlan.zhihu.com/p/20494731?refer=xlz-d