最近一直在琢磨爬虫，从最早的BeautifulSoup爬取游民福利图，后来要爬取的动态网页多了，就逐渐过渡到了selenium+chromedriver/phantomJs的爬虫组合。偶然间听基友说有个msdn.itellyou.cn里收集了各种微软程序的ed2k安装包，因此便开始了对它的爬取之旅。
这个网站的页面结构还是挺复杂的。通过观察，发现软件的名称和地址都在右侧内容项中的label>checkbox中，名称为label的值，而地址为checkbox的data-url属性。且右侧的具体内容是通过div的动态加载来实现的，只有在点击了左侧的具体目录项才会出现；对于多语言的软件，每个子标签中的软件的xpath中的id又是不同的，因此需要动态获得每个子标签的id。最后，该网站会时不时地弹出呼吁捐赠的对话框，也会对爬虫造成影响。
由于采用selenium+chromedriver，且网站的各个资源项的id也摸不到规律，只能用最笨的方法——模拟点击法来获取所有软件的地址，即将目录项一个一个点开后再依次点击右侧的语言栏（若有的话）；同时，在点击时还要处理随时可能弹出的捐款对话框。此外，有很多目录项里头其实没有数据，但也要花费一定时间点击。总的来说，这个爬虫效率是比较低的，若大家有更高效率的方法，欢迎提出。
源代码如下：
# -*- coding=utf-8 -*- from selenium import webdriver from selenium.webdriver.support.ui import WebDriverWait import time from selenium.common.exceptions import NoSuchElementException,ElementNotVisibleException,WebDriverException,TimeoutException import xlwt #左侧目录的xpath catalogue_list = ['//*[@id="accordion"]/div[1]/div[1]/h4/a', '//*[@id="accordion"]/div[2]/div[1]/h4/a', '//*[@id="accordion"]/div[3]/div[1]/h4/a', '//*[@id="accordion"]/div[4]/div[1]/h4/a', '//*[@id="accordion"]/div[5]/div[1]/h4/a', '//*[@id="accordion"]/div[6]/div[1]/h4/a', '//*[@id="accordion"]/div[7]/div[1]/h4/a', '//*[@id="accordion"]/div[8]/div[1]/h4/a' ] catalogue_name = [u'企业解决方案', u'MSDN技术资源库', u'工具和资源', u'应用程序', u'开发人员工具', u'操作系统', u'服务器', u'设计人员工具' ] count = 0 software_name_list = [] software_url_list = [] def builddriver(kind): chromedriver_path = 'D:\\WebDrivers\\chromedriver_win32\\chromedriver.exe' phantomjs_path = 'D:\\WebDrivers\\phantomjs\\bin\\phantomjs.exe' if kind == 'Chrome': driver = webdriver.Chrome(executable_path=chromedriver_path) elif kind == 'Phantomjs': driver = webdriver.PhantomJS(executable_path=phantomjs_path) return driver #关闭弹出的捐款对话框 def clickdialog(): global driver try: dialog_close_button = driver.find_element_by_xpath('/html/body/div[2]/div/div/div[1]/button') if dialog_close_button: dialog_close_button.click() time.sleep(3) except NoSuchElementException: pass except ElementNotVisibleException: pass #通过该函数调用所有的点击功能，防止对话框干扰 def click_when_dialog(target_item): try: target_item.click() except WebDriverException: clickdialog() target_item.click() except NoSuchElementException, e: raise e except TimeoutException: time.sleep(2) target_item.click() # 处理某灵异bug…… except WebDriverException: time.sleep(2) target_item.click() finally: time.sleep(4) def get_one_kind_software(kind_name_selector, type_name): global software_name_list, software_url_list software_file = open(type_name + '.txt', 'w') kind_name = driver.find_element_by_xpath(kind_name_selector) click_when_dialog(kind_name) kind_id = kind_name.get_attribute('data-target')[1:] software_item = driver.find_elements_by_xpath('//*[@id="' + kind_id + '"]/div/ul/li') # 目录下的软件列表项 # 顺序点击每个目录项 for i in range(0, len(software_item)): click_when_dialog(software_item[i]) # 获取右侧数据 # 多语言： # 获取多语言列表 multi_languate_list = driver.find_elements_by_xpath('//*[@id="view_data_container"]/ul/li/a') if multi_languate_list: for j in range(0, len(multi_languate_list) - 1): software_id = 'lang_' + multi_languate_list[j].get_attribute('data-id') try: click_when_dialog(multi_languate_list[j]) except NoSuchElementException: continue # 获取具体内容 try: software_name = driver.find_element_by_xpath('//*[@id="' + software_id + '"]/ul/li/div/label').text software_url = driver.find_element_by_xpath( '//*[@id="' + software_id + '"]/ul/li/div/label/input').get_attribute('data-url') except NoSuchElementException: # 可能未加载完，但实际有 time.sleep(4) try: software_name = driver.find_element_by_xpath( '//*[@id="' + software_id + '"]/ul/li/div/label').text software_url = driver.find_element_by_xpath( '//*[@id="' + software_id + '"]/ul/li/div/label/input').get_attribute('data-url') # 这个真没有…… except NoSuchElementException: continue software_name_list.append(software_name) software_url_list.append(software_url) for i in range(0, len(software_name_list)): software_file.write(software_name_list[i] + ' ' + software_url_list[i] + '\n') print type_name + '已爬取完成。\n' # 清空已写入至文件的列表 software_name_list = [] software_url_list = [] software_file.close() def file_to_excel(): global count workbook = xlwt.Workbook() sheet_list = [] for sheet_name in catalogue_name: sheet = workbook.add_sheet(unicode(sheet_name), cell_overwrite_ok=True) sheet_list.append(sheet) # 依次打开文件并写入对应的sheet for i in range(0, len(catalogue_name)): count = 0 software_file = open(unicode(catalogue_name[i]) + '.txt', 'r') for line in software_file: sheet_list[i].write(count, 0, unicode(line.split(' ')[0])) sheet_list[i].write(count, 1, unicode(line.split(' ')[1])) count += 1 software_file.close() print u'软件存储完成' workbook.save('software.xls') driver = builddriver('Chrome') if __name__ == "__main__": global driver driver.get('http://msdn.itellyou.cn/') time.sleep(5) for k in range(0, len(catalogue_list)): get_one_kind_software(catalogue_list[k], catalogue_name[k]) driver.close() file_to_excel() <span style="font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);">此网站共分为8个目录，这段程序将每个目录的结果分别存为一个txt文件，最后再将其整理成一个excel文件。</span>代码中的所谓“灵异bug”，是指在爬取操作系统那一目录时，经常到MS-DOS西班牙语之后会弹出异常：Other element would receive click:<nav class="balabala ……></nav>，且有时出现在这里，有时出现在爬取完Win7处，单步也抓不到。因此只能抛出一个WebdDriverException，处理方法是等2s后再试一次。
爬取后的成果：
个人感觉，用selenium+chromedriver/phantomjs爬取网页的效率实在是不高，但是碰到动态网页似乎又没有其他更好的办法。若有高人知道高效爬取动态网页的方法，还请不吝赐教。
