Python 网络抓取和文本挖掘-2 XML 和 JSON

XML和JSON是两个重要的网络数据交换标准。

1. XML (eXtensible Markup language, 可扩展标记语言)

    以下是书中附带的一个XML示例文档。

<?xml version="1.0" encoding="ISO-8859-1"?> <bond_movies> <movie id="1"> <name>Dr. No</name> <year>1962</year> <actors bond="Sean Connery" villain="Joseph Wiseman"/> <budget>1.1M</budget> <boxoffice>59.5M</boxoffice> </movie> <movie id="2"> <name>Live and Let Die</name> <year>1973</year> <actors bond="Roger Moore" villain="Yaphet Kotto"/> <budget>7M</budget> <boxoffice>126.4M</boxoffice> </movie> <movie id="3"> <name>Skyfall</name> <year>2012</year> <actors bond="Daniel Craig" villain="Javier Bardem"/> <budget>175M</budget> <boxoffice>1108.6M</boxoffice> </movie> </bond_movies>

    XML是纯文本格式，XML有一套语法规则和关机元素，一个XML文档永远 以声明XML文档的一行代码开头。

    XML文件必须有且仅有一个根元素，它包裹整个文档，如例子里的根元素<bond_movies> </bond_movies>。

    一个XML元素包括标签和内容，标签包括起始标签和终止标签，起始标签中和可以包含属性，属性和内容一样可以用来存放数据（信息），XML的属性值必须加引号  ；起始标签也可以用一个/，自己闭合，即不用终止标签；XML可以自己选择元素的名字，只要符合命名规则就可以（不能以数字或xml开头 、不能包括空格、区分大小写）；内容中遇到特殊字符，须使用预先定义的转义字符串来代替，但如果数据中需要转义的字符太多时 ，可放到<! [CDATA[ ]] > 部件中，这样就不会被解析。。

     

     一个XML文件是一个有层次的树形结构，元素里还可以包含其它元素；元素可以嵌套，但必须是严格嵌套，不允许交叉嵌套。

     XML文档结构可以由用户自定义（标签名和层次结构的深度），用户可用文档类型定义（DTD）来描述；由于XML是可自定义的，就可能存在同样的元素名用于表达不同内容的情况，处理这种情况需要用到命名空间技术。

2. Python 解析XML文件

    1） DOM   

    定义一个类Movie存放电影信息，与例子中xml文件相对应。用xml.dom.minidom对文档进行解析，用到的方法包括：parse、hasChildNodes、getAttribute、getElementsBuTagName和data属性。需要注意的是要用nodeType==Node.ELEMENT_NODE进行判断过滤掉Text node。 

class Movie(object): def __init__(self, id=None, name=None, year=None, actors=None, budget=None, boxoffice=None): self.__id__ = id self.__name__ = name self.__year__ = year self.__actors__ = actors self.__budget__ = budget self.__boxoffice__ = boxoffice def get_id(self): return self.__id__ def get_name(self): return self.__name__ def get_year(self): return self.__year__ def get_actors(self): return self.__actors__ def get_budget(self): return self.__budget__ def get_boxoffice(self): return self.__boxoffice__ def to_txt(self,separator=','): bond = self.__actors__['bond'] villain = self.__actors__['villain'] line = str(self.__id__) + separator + \ self.__name__ + separator + \ str(self.__year__) + separator + \ self.__budget__ + separator + \ self.__boxoffice__ + separator + \ bond + separator + villain return line from xml.dom import minidom as mdom from xml.dom.minidom import Node def get_movies_by_dom(xmlfile): movies = [] doc = mdom.parse(xmlfile) root = None if doc.hasChildNodes(): root = doc.childNodes[0] else: return movies for mve in root.childNodes: if mve.nodeType == Node.ELEMENT_NODE: id = mve.getAttribute('id') node = mve.getElementsByTagName("name") name = node[0].childNodes[0].data node = mve.getElementsByTagName("year") year = node[0].childNodes[0].data node = mve.getElementsByTagName("actors") bond = node[0].getAttribute('bond') villain = node[0].getAttribute('villain') actors = {'bond':bond, 'villain':villain} node = mve.getElementsByTagName("budget") budget = node[0].childNodes[0].data node = mve.getElementsByTagName("boxoffice") boxoffice = node[0].childNodes[0].data mv = Movie(id, name, year, actors, budget, boxoffice) movies.append(mv) return movies if __name__ == '__main__': movies = get_movies_by_dom('bond.xml') for mv in movies: print mv.to_txt()

    2）SAX 

       dom解析xml是将整个文档树加载到内存中，因此在解析大文件时需要考虑使用sax进行解析。需要引入xml.sax中的parse函数和xml.sax.handler中的ContentHandler。MyContentHandler继承ContentHandler，定义__movies__（列表）、__movie__和__tag_name__三个属性，记录解析过程的状态信息。当startElemet的节点标签名为movie时创建一个movie对象，当endElemet的节点标签名为movie时，表示<movie>...</movie>完成了，将__movie__添加到__movies__列表。

# -*- coding:utf-8 -*- class Movie(object): def __init__(self, id=None, name=None, year=None, actors=None, budget=None, boxoffice=None): self.__id__ = id self.__name__ = name self.__year__ = year self.__actors__ = actors self.__budget__ = budget self.__boxoffice__ = boxoffice def get_id(self): return self.__id__ def get_name(self): return self.__name__ def get_year(self): return self.__year__ def get_actors(self): return self.__actors__ def get_budget(self): return self.__budget__ def get_boxoffice(self): return self.__boxoffice__ def set_id(self, id): self.__id__ = id def set_name(self, name): self.__name__ = name def set_year(self, year): self.__year__ = year def set_actors(self, actors): self.__actors__ = actors def set_budget(self, budget): self.__budget__ = budget def set_boxoffice(self, boxoffice): self.__boxoffice__ = boxoffice def to_txt(self,separator=','): bond = self.__actors__['bond'] villain = self.__actors__['villain'] line = str(self.__id__) + separator + \ self.__name__ + separator + \ str(self.__year__) + separator + \ self.__budget__ + separator + \ self.__boxoffice__ + separator + \ bond + separator + villain return line from xml import sax from xml.sax.handler import ContentHandler class MovieContentHandler(ContentHandler): def __init__(self): ContentHandler.__init__(self) self.__movies__ = [] self.__movie__ = None self.__tag_name__ = None def get_movies(self): return self.__movies__ def startDocument(self): self.__movies__ = [] def endDocument(self): pass def startElement(self, name, attrs): if name == 'movie': self.__movie__ = Movie() self.__movie__.set_id(attrs['id']) elif name == 'actors': self.__movie__.set_actors({'bond': attrs['bond'], 'villain': attrs['villain']}) self.__tag_name__ = name def endElement(self, name): if name == 'movie': self.__movies__.append(self.__movie__) self.__movie__ = None self.__tag_name__ = '' def characters(self, content): if self.__tag_name__ == 'name': self.__movie__.set_name(content) elif self.__tag_name__ == 'year': self.__movie__.set_year(content) elif self.__tag_name__ == 'budget': self.__movie__.set_budget(content) elif self.__tag_name__ == 'boxoffice': self.__movie__.set_boxoffice(content) if __name__ == '__main__': mh = MovieContentHandler() sax.parse('bond.xml', mh) movies = mh.get_movies() for movie in movies: print movie.to_txt()

    3）ElementTree

import xml.etree.ElementTree as ET def get_moives_by_et(xmlfile): movies = [] doc = ET.parse(xmlfile) root = doc.getroot() for child in root: id = child.attrib['id'] name = child.find('name').text year = child.find('year').text actors = child.find('actors').attrib budget = child.find('budget').text boxoffice = child.find('boxoffice').text movie = Movie(id, name, year, actors, budget, boxoffice) movies.append(movie) return movies if __name__ == '__main__': movies = get_moives_by_et('bond.xml') for movie in movies: print movie.to_txt()

  3. JSON

JSON是一种源于JavaScript编程语言的数据格式，数据保持在键值对(Key/Value pair)里，键和值用冒号(:)隔开，键值对用逗号(,)隔开，不同类型的括号（大括号和方括号）能够描述层级结构。如果用Python的数据结构来描述的话，大括号({})对应字典，中括号([])对应列表。相比与XML，JSON不能添加注释、不能区分缺失的值和空值、没有命名空间、没有DTD。JSON是一种通用的数据交换标准。JSON在python 操作比较简单，掌握load、loads、dump和dumps几个方法就够用了，要注意的是ensuer_ascii 参数的使用。

import json if __name__ == '__main__': f = open('indy.json') data = json.load(f) print json.dumps(data, ensure_ascii=False,) f.close()