如何判断一个网页是不是动态页面

    xiaoxiao2021-03-25  129

    如果你需要爬取的数据是放在js里面的,那么就是动态,需要用selenium等工具抓取。

    跑下面的代码,就会把网页上所有元素都打印出来。ctrl+F搜索一下,如果要找的元素在一个js object里面,就说明是动态获取到的。

    import requests from bs4 import BeautifulSoup url = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx" response = requests.get(url) soup = BeautifulSoup(response.text,'lxml') print(soup.prettify())

    转载请注明原文地址: https://ju.6miu.com/read-17406.html

    最新回复(0)