如果你需要爬取的数据是放在js里面的,那么就是动态,需要用selenium等工具抓取。
跑下面的代码,就会把网页上所有元素都打印出来。ctrl+F搜索一下,如果要找的元素在一个js object里面,就说明是动态获取到的。
import requests
from bs4
import BeautifulSoup
url =
"xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
response = requests.get(url)
soup = BeautifulSoup(response.text,
'lxml')
print(soup.prettify())
转载请注明原文地址: https://ju.6miu.com/read-17406.html