分析维基百科页面中指向词条页面（不是指向其他内容页面）的链接，会发现它们都有三个共同点： • 它们都在id 是bodyContent 的div 标签里 • URL 链接不包含分号 • URL 链接都以/wiki/ 开头
使用下面代码来获取词条链接
#-*- coding:utf-8 -*- import urllib2 from bs4 import BeautifulSoup import re url = "http://en.wikipedia.org/wiki/Kevin_Bacon" html = urllib2.urlopen(url) bsObj = BeautifulSoup(html,'html.parser') ''' #正确写法 for link in bsObj.find("div", {"id":"bodyContent"}).findAll("a",href=re.compile("^(/wiki/)((?!:).)*$")): if 'href' in link.attrs: print(link.attrs['href']) ''' file = open("wiki.txt","w") for link in bsObj.find_all('div',id = "bodyContent").find_all('a',href = "^(/wiki/)((?!;)\S)*$"): file.write(link.attrs['href']+"\n") print link.attrs['href'] file.close()报错：
因为find_all函数返回的是一个列表，列表没有.find_all操作
经分析，只有一个div的id为bodyContent，所以正确代码如下
#-*- coding:utf-8 -*- import urllib2 from bs4 import BeautifulSoup import re url = "http://en.wikipedia.org/wiki/Kevin_Bacon" html = urllib2.urlopen(url) bsObj = BeautifulSoup(html,'html.parser') ''' for link in bsObj.find("div", {"id":"bodyContent"}).findAll("a",href=re.compile("^(/wiki/)((?!:).)*$")): if 'href' in link.attrs: print(link.attrs['href']) ''' file = open("wiki.txt","w") for link in bsObj.find('div',id = "bodyContent").find_all('a',href = re.compile("^(/wiki/)((?!;)\S)*$")): file.write(link.attrs['href']+"\n") print link.attrs['href'] file.close()写程序来找出这个静态的维基百科词条里所有的词条链接很有趣，不过没什么实际 用处。我们需要让这段程序更像下面的形式。 • 一个函数getLinks，可以用维基百科词条/wiki/< 词条名称> 形式的URL 链接作为参数， 然后以同样的形式返回一个列表，里面包含所有的词条URL 链接。 • 一个主函数，以某个起始词条为参数调用getLinks，再从返回的URL 列表里随机选择 一个词条链接，再调用getLinks，直到我们主动停止，或者在新的页面上没有词条链接 了，程序才停止运行。 完整的代码如下所示：
#-*- coding:utf-8 -*- import urllib2 from bs4 import BeautifulSoup import re import random import datetime random.seed(datetime.datetime.now()) def getLink(url): html = urllib2.urlopen("http://en.wikipedia.org"+url) bsObj = BeautifulSoup(html, 'html.parser') return bsObj.find('div', id="bodyContent").find_all('a', href=re.compile("^(/wiki/)((?!;)\S)*$")) url = "/wiki/Kevin_Bacon" file = open("wiki.txt", "w") links = getLink(url) while len(links)>0: newArticle = links[random.randint(0,len(links)-1)].attrs['href'] file.write(newArticle + "\n") print newArticle links = getLink(newArticle) file.close()导入需要的Python 库之后，程序首先做的是用系统当前时间生成一个随机数生成器。这样可以保证在每次程序运行的时候，维基百科词条的选择都是一个全新的随机路径。
