Data-爬虫-03 静态网页抓取
文章目录
Data-爬虫-03 静态网页抓取
Innovation distinguishes between a leader and a follower. --Steve Jobs
- 本篇内容主要来自Python 网络爬虫从入门到实践一书的第3章,和其网站给出的代码。
- 原文是查询豆瓣电影Top250,这里我稍做改变,查询书籍Top250(虽然也没多少不同,但稍微不一样一些,心安一点点),再次感谢原作者。
1. 环境配置
- 这里我们所需的环境大致和上次相同,使用requests库和bs4库,可以参考前文。
- 另外还需要一个lxml库,来帮助解析页面,终端输入
conda install -n data_env_37 lxml安装。
2. 预备知识
【静态页面】
- 静态页面,即静态网页,是实际存在的、无需经过服务器的编译,直接加载到客户浏览器上显示出来。纯粹HTML格式的网页通常被称为静态网页。
- 静态页面无法连接到数据库。
【Requests相关知识】
-
Get请求
-
基本请求:
response = requests.get('http://www.XXX.com') -
带参数的请求:
- 拼接url:
response = requests.get('http://www.XXX.com/getkey1=value1') -
使用字典:
params = {'key1':'value1', 'key2':'value2'} response = requests.get('http://www.XXX.com/get', params)
- 拼接url:
-
请求头 header:
- 在发送请求时会需要加上请求头,这是伪装成浏览器的关键。
-
header常见包含有:
-
Host:确定具体的网站 -
user-agent:客户端信息 -
cookie:Cookie信息,requests有单独参数来处理,headers不用放
-
-
示例:
headers = {'Host':'www.XXX.com', 'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1 Safari/605.1.15'} response = requests.get('http://www.XXX.com/',headers=headers)
-
cookie:
- 如先登录,在获取cookies,之后直接使用cookie登录,而不用再输账号密码等信息;
-
示例(具体用法请查看对应篇章)
cookie = {'gr_user_id':'2ba4825d-8cca-4eb7-a6eb-7be30bf50182; _pk_id.100001.3ac3=8c58c830841ee6ec.1586701964.4.1586783454.1'} response = requests.get('http://www.XXX.com',cookies = cookie)
-
超时 timeout
- 请求中可以用timeout参数设置等待时间(秒),以免因错误导致爬虫一直等待。
-
示例
response = requests.get('http://www.XXX.com',timeout=0.001)
-
基本请求:
-
POST请求
- POST请求会发送表单,数据不会出现在URL中(如登录时请求即为POST,若为GET则密码会显示在URL之中)。
- 用法与GET相似,使用
requests.post()
-
Response响应对象
-
r = requests.get('http://wwww.XXX.com/')后可得到一个response响应对象。 -
r.text:响应的页面内容; -
r.content:二进制页面内容,会自动解码gzip和deflate编码的内容; -
r.status_code:响应状态码(200请求成功;4XX客户端错误;5XX服务器错误响应) -
r.headers:服务器与此响应的标头; -
r.cookies:获取或设置与响应关联的标头; -
r.cookies.get_dict():获取字典形式的cookie; -
r.url:响应的url地址; -
r.history:查看页面从哪个url跳转而来; -
r.encoding:响应内容的编码格式; -
r.json():Requests内置的JSON解码器。
-
3. 网页分析
网页原址
Robots
- 可以通过检测工具搜索,也可以直接查询https://book.douban.com/robot...,
User-agent: *
Disallow: /subject_search
Disallow: /search
Disallow: /new_subject
Disallow: /service/iframe
Disallow: /j/
Sitemap: http://www.douban.com/sitemap_index.xml
Sitemap: http://www.douban.com/sitemap_updated_index.xml
User-agent: Wandoujia Spider
Disallow: /
-
/top250不在Disallow之中,所以可以放心地爬取了(应该吧,如果我的认知有误,还请提醒,另外也请千万不要恶意攻击网站)。
请求头 header
- 使用浏览器的开发工具,打开方式参考[上文]()
- 打开所要爬取网页,右键选择“检查元素”,如1所示;
- 选择网络如2,打开top250文件,可以看到header信息如4;
- 这里以safari为例,其它浏览器大致相同,可以自行了解,若没有显示,可以尝试刷新页面。

翻页处理
- 由于一个页面只能显示25本书,而要显示250本,则需要10页内容;
-
打开页面可以发现其URL特点:
- 可知每多一页,需要则
start参数多加25,如此就好处理了
页面解析
- 和之前一样,我们使用浏览器的开发者工具找到要爬取数据的信息,发现其位于
pl2类的div下的a中,如下图所示

4. 代码
import requests
from bs4 import BeautifulSoup
def get_books():
# 1. 获取页面
headers = {
'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1 Safari/605.1.15',
'Host': 'book.douban.com'
}
book_list = []
for i in range(0,10):
url = 'https://book.douban.com/top250?start='+str(i*25)
response = requests.get(url, headers=headers, timeout=15)
print('页面:', str(i), '; 状态:', response.status_code)
# 2. 解析页面
soup = BeautifulSoup(response.text, "lxml")
title_list = soup.find_all('div', class_='pl2')
for title in title_list:
#删除空格、换行,由于小标题的存在,导致有的书名中间出现换行和空格
book = title.a.text.strip().replace('\n','').replace(' ','')
book_list.append(book)
# 3. 写入文件
with open('03_books.txt','a+') as f:
for book in book_list:
f.write(book+'\n')
return
get_books()
print('完成')
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论