BeautifulSoup4

python 解析html, 用一次翻一次文档，无语了。距离上次用BeautifulSoup4已经差不多10个月了…./(ㄒoㄒ)/~~ 现在做个记录，方便下次用。

安装

pip install beautifulsoup4

引入

from bs4 import BeautifulSoup soup = BeautifulSoup(html_doc, 'html.parser')

html.parser解析器是Python的内置标准库，还有另外的html解析器 lxml, html5lib 参考如下：

语法

html标签名字查找

# 通过html标签名获取 soup.title # <title>The Dormouse's story</title> # 获取标签名 soup.title.name # u'title' # 获取标签内容 soup.title.string # u'The Dormouse's story' # 获取父标签名 soup.title.parent.name # u'head' # 获取p标签(dom层第一个p标签) soup.p # <p class="title"><b>The Dormouse's story</b></p> # 获取p标签的 class 属性值 soup.p['class'] # u'title' # 查看a标签(dom层第一个a标签) soup.a # <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a> # 获取所有a标签 soup.find_all('a') # [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, # <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, # <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>] # 获取指定ID的标签 soup.find(id="link3") # <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a> # 获取a标签的href属性值 a_link.get('href') 或 a_link['hreft'] # 获取标签内的所有文本 soup.get_text()

tag

# 获取标签名 tag.name # 获取标签属性 tag.attrs

css搜索

注意 class_ 的下划线

soup.find_all("a", class_="sister")

text搜索

text 参数接受 字符串 , 正则表达式 , 列表, True

soup.find_all(text="Elsie") # [u'Elsie'] soup.find_all(text=["Tillie", "Elsie", "Lacie"]) # [u'Elsie', u'Lacie', u'Tillie'] # 这个正则会比较实用吧 soup.find_all(text=re.compile("Dormouse")) [u"The Dormouse's story", u"The Dormouse's story"]

参考文档

BeautifulSoup4 中文

BeautifulSoup4 英文