在使用python进行网页解析的时候,利用好一些第三方开源框架能够有效快速的对网页进行解析,提取去我们所需要的信息 python本身自带的htmlparser 太过笨重,在解析中有诸多不便,在这利用pyquery 进行html 进行解析
from pyquery import PyQuery as pq import urllib,urllib2 import json url = 'http://zhan.renren.com/tag?value=gif&json=true&type=&page=1' data = urllib2.urlopen(url) html = json.load(data)["posts"] d = pq(html) items = d("article")#获取article标签 itemCount = items.length#所有含article标签的个数 print 'article.length: ' + str(items.length) for i in xrange(0, itemCount): #print d(items[i]).html() item = d(items[i]) auther = item.find('.post-site-user .name-card').text()#对于层级关系可以使用 find('.XXX + 空格 +标签')层层递进下去 print str(i) + ". auther:" + auther pn = item.find('.hot-num').parent().prev().text()#父节点/兄弟节点 print pn title = item.find('.feed-title').text()#获取 所有'feed-title' 的内容 print str(i) + ". title:" + title gifUrl = item.find('.hot-view img').attr("src")#获取src属性值 print str(i) + ". gifurl:" + gifUrl tags = item.find('.feed-topic a') for j in xrange(0, tags.length): print str(i) + "." + str(j) + " tag:" + d(tags[j]).text()#对于列表等数据提取同样可以使用pq解析