Data-爬虫-04 动态网页抓取
文章目录
Data-爬虫-04 动态网页抓取
Your time is limited, so don't waste it living someone else's life. Don't be trapped by dogma - which is living with the results of other people's thinking. Don't let the noise of other's opinions drown out your own inner voice. And most important, have the courage to follow your heart and intuition. They somehow already know what you truly want to become. Everything else is secondary --Steve Jobs
- Data系列:目录 | 配置 | 上文
- 本篇内容主要来自Python 网络爬虫从入门到实践一书的第4章,和其网站给出的代码。
- 本篇使用两种方式(解析真实网页地址&使用selenium模拟浏览器)抓取动态网页,我们这里抓取的仍是作者提供的个人网页。
1. 环境配置
- 这次我们需要的库有requests、selenium和json,其中requests已经介绍过了,json自带,唯一需要配置的就是selenium,同样一贯的命令
conda install -n data_env_37 selenium就完成了。
2. 预备知识
【动态页面】
- 静态页面在html代码生成后,页面内容和显示效果基本就不发生变化了;而动态页面虽然页面代码不变,但其显示内容可以随着时间、环境或数据库操作的结果变化而变化。
- 如在使用JavaScript时,很多内容不会出现在html源代码中,所以无法先前爬取静态网页的方法,可能无法使用了。
- 异步更新技术 AJAX(Asynchronous Javascript And XML),是一种创建交互式、快速动态网页应用的网页开发技术,其能在无需加载整个网页的情况下,更新部分网页的内容。
-
爬取动态网页的方法这里有两种:
- 解析真实地址;
- 使用selenium模拟浏览器。
【JSON】
- 这次爬取的数据以JSON格式存储,JSON (JavaScript Object Notation, JS对象简谱) 是一种**轻量级的数据交换格式。
-
示例:
//示例1 {"name": "Jack", "age": 18, "address": {"country": "china", "zip-code": "10000"}} //示例2 {"a": 1, "b": [1,2,3]} //示例3 {"people":[ {"firstName": "Jack", "lastName": "Jobs"}, {"firstName": "Tom", "lastName": "Hunter"} ]}
【selenium库】
- selenium是一个自动化测试工具,支持Chrome、Firefox、Safri等浏览器。浏览器按照脚本代码作出打开、点击、输入、验证等操作,主要用来解决JS渲染的问题。
-
用浏览器打开/关闭网页
from selenium import webdrive browser = webdrive.Chrome() browser.get('https://www.XXX.com') browser.close() -
单个元素查找
res = browser.find_element_by_id('id_info') #通过id查找 res = browser.find_element_by_name('name_info') #通过name查找 res = browser.find_element_by_class_name('class_name') res = browser.find_element_by_tag_name('tag_name') res = browser.find_element_by_xpath("//*[@id='id_info']") res = browser.find_element_by_xpath("//*[@name='name_info']") res = browser.find_element_by_xpath("//input[@class='class']") res = browser.find_element_by_xpath("/html/body/form") res = browser.find_element_by_xpath("//input[@id='id' and @name='name']") res = browser.find_element_by_css_selector("#id_info") res = browser.find_element_by_css_selector("[name=n]") res = browser.find_element_by_css_selector(".class_name") res = browser.find_element_by_css_selector("html > body > form") res = browser.find_element_by_link_text("hao123") res = browser.find_element_by_partial_link_text("hao123") -
多个元素查找
- 与单个元素查找相同,只是函数名为
find_elements_by_XXX
- 与单个元素查找相同,只是函数名为
-
浏览器控制
browser.set_window_size(1400,800) #设置浏览器大小 browser.back() #浏览器后退 browser.forward() #浏览器前进 browser.refresh() #刷新页面 browser.clear() #清除文本 browser.send_keys(value) #键盘输入 element.click() #点击按钮 submit() #提交表单 get_attribute(name) #获取元素属性 is_displayed() #设置元素是否可见 size #元素尺寸 text #元素文本 -
鼠标事件:
-
ActionChains类
-
ActionChains(Driver):构造对象 -
context_click():鼠标悬停 -
move_to_element(above):右击 -
double_click():双击 -
drag_and_drop():拖拽 -
move_to_element():移动 -
context_click():右键 -
perform():执行操作
-
- 示例
from selenium import webdriver #1.引入 ActionChains 类 from selenium.webdriver.common.action_chains import ActionChains #2.打开网页 driver= webdriver.Chrome("F:\Chrome\ChromeDriver\chromedriver") driver.get("https://www.baidu.cn") #3.定位到要悬停的元素 element= driver.find_element_by_link_text("设置") #4.对定位到的元素执行鼠标悬停操作 ActionChains(driver).move_to_element(element).perform() -
-
键盘事件
-
send_keys(value)执行 -
value
-
Keys.BACK_SPACE删除键 -
Keys.SPACE空格键 Keys.TABKeys.ESCAPEKeys.ENTER
-
- 组合键:
send_keys(Keys.CONTROL,'c')
-
3. 方法一:解析真实地址
【真实地址】
- 进入爬取页面,右键检查元素,点击网络,查找到list文件,如图,可以找到实际地址如3处

【地址分析】
-
和上次一样,我们分析一下每页的地址,有,
- 第一页:https://api-zero.livere.com/v...
- 第二页:https://api-zero.livere.com/v...
- 第三页: https://api-zero.livere.com/v...
- 可以发现关键字limit和offset,NICE
【存储格式】
-
另外当我们打开真实地址的内容后,可以发现其存储格式为JSON,如下图所示,

- 可以知道,我们要获取的数据在
content下。
- 可以知道,我们要获取的数据在
【代码】
- 在分析完网页信息后,解析就与静态网页抓取相似了。
#导入库
import requests
import json
messages = []
#1. 获取页面
headers = {'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1 Safari/605.1.15'}
for i in range(1,4):
url = 'https://api-zero.livere.com/v1/comments/list?callback=jQuery1124004614198129784364_1586852914458&limit=10&offset='\
+str(i)+'&repSeq=4272904&requestPath=%2Fv1%2Fcomments%2Flist&consumerSeq=1020&livereSeq=28583&smartloginSeq=5154&code=&_=1586852914467'
response = requests.get(url, headers=headers, timeout=15)
print('页面:',str(i+1),'; 状态',response.status_code)
#2. 解析页面
json_string = response.text
json_string = json_string[json_string.find('{'):-2] #从第一个{提取,最后两个字符}和;不取
json_data = json.loads(json_string)
comment_list = json_data['results']['parents'] #JSON最头上有这两个标志,图片没显示,可以自行看
for comment in comment_list:
messages.append(comment['content'].strip())
#3. 写入文件
with open('04_comments_1.txt','a+') as f:
for message in messages:
f.write(message+'\n-----------------------------\n')
print('完成')
4. 方法二:模拟浏览器抓取
【分析网页】
- 我们利用Safari开发工具,同样可以分析出所要得到的数据位置如3处

【代码】
- 这里直接给出最简单的代码实现。
#导入库
from selenium import webdriver
import time
driver = webdriver.Safari()
print('打开网页')
driver.get("http://www.santostang.com/2018/07/04/hello-world/")
time.sleep(5)
print('下滑到底部')
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
print('获取数据')
driver.switch_to.frame(driver.find_element_by_css_selector("iframe[title='livere']"))
comments = driver.find_elements_by_css_selector('div.reply-content')
for eachcomment in comments:
content = eachcomment.find_element_by_tag_name('p')
print (content.text)
driver.close()
【补充】
- 在作者的文章中给出了限制图片加载、JS渲染的方法,以及移动页面、点击按钮等操作,由于在Safari上使用不便,以及评论区按钮的特点,所以不再实现。大家可以参考作者的代码,或根据第二部分中selenium库的介绍自行实现。
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论