Data-爬虫-03 静态网页抓取

Data-爬虫-03 静态网页抓取

Innovation distinguishes between a leader and a follower. --Steve Jobs
  • 本篇内容主要来自Python 网络爬虫从入门到实践一书的第3章,和其网站给出的代码。
  • 原文是查询豆瓣电影Top250,这里我稍做改变,查询书籍Top250(虽然也没多少不同,但稍微不一样一些,心安一点点),再次感谢原作者。

1. 环境配置

  • 这里我们所需的环境大致和上次相同,使用requests库和bs4库,可以参考前文。
  • 另外还需要一个lxml库,来帮助解析页面,终端输入conda install -n data_env_37 lxml安装。

2. 预备知识

【静态页面】

  • 静态页面,即静态网页,是实际存在的、无需经过服务器的编译,直接加载到客户浏览器上显示出来。纯粹HTML格式的网页通常被称为静态网页。
  • 静态页面无法连接到数据库。

【Requests相关知识】

  • Get请求

    • 基本请求:response = requests.get('http://www.XXX.com')
    • 带参数的请求:

      1. 拼接url:response = requests.get('http://www.XXX.com/getkey1=value1')
      2. 使用字典:

        params = {'key1':'value1', 'key2':'value2'}
        response = requests.get('http://www.XXX.com/get', params)
    • 请求头 header:

      • 在发送请求时会需要加上请求头,这是伪装成浏览器的关键。
      • header常见包含有:

        • Host:确定具体的网站
        • user-agent:客户端信息
        • cookie:Cookie信息,requests有单独参数来处理,headers不用放
      • 示例:

        headers = {'Host':'www.XXX.com', 'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1 Safari/605.1.15'}
        response = requests.get('http://www.XXX.com/',headers=headers)
    • cookie:

      • 如先登录,在获取cookies,之后直接使用cookie登录,而不用再输账号密码等信息;
      • 示例(具体用法请查看对应篇章)

        cookie = {'gr_user_id':'2ba4825d-8cca-4eb7-a6eb-7be30bf50182; _pk_id.100001.3ac3=8c58c830841ee6ec.1586701964.4.1586783454.1'}
        response = requests.get('http://www.XXX.com',cookies = cookie)
    • 超时 timeout

      • 请求中可以用timeout参数设置等待时间(秒),以免因错误导致爬虫一直等待。
      • 示例

        response = requests.get('http://www.XXX.com',timeout=0.001)
  • POST请求

    • POST请求会发送表单,数据不会出现在URL中(如登录时请求即为POST,若为GET则密码会显示在URL之中)。
    • 用法与GET相似,使用requests.post()
  • Response响应对象

    • r = requests.get('http://wwww.XXX.com/')后可得到一个response响应对象。
    • r.text:响应的页面内容;
    • r.content:二进制页面内容,会自动解码gzip和deflate编码的内容;
    • r.status_code:响应状态码(200请求成功;4XX客户端错误;5XX服务器错误响应)
    • r.headers:服务器与此响应的标头;
    • r.cookies:获取或设置与响应关联的标头;
    • r.cookies.get_dict():获取字典形式的cookie;
    • r.url:响应的url地址;
    • r.history:查看页面从哪个url跳转而来;
    • r.encoding:响应内容的编码格式;
    • r.json():Requests内置的JSON解码器。

3. 网页分析

网页原址

Robots

User-agent: *
Disallow: /subject_search
Disallow: /search
Disallow: /new_subject
Disallow: /service/iframe
Disallow: /j/
Sitemap: http://www.douban.com/sitemap_index.xml
Sitemap: http://www.douban.com/sitemap_updated_index.xml

User-agent: Wandoujia Spider
Disallow: /
  • /top250不在Disallow之中,所以可以放心地爬取了(应该吧,如果我的认知有误,还请提醒,另外也请千万不要恶意攻击网站)。

请求头 header

  • 使用浏览器的开发工具,打开方式参考[上文]()
  • 打开所要爬取网页,右键选择“检查元素”,如1所示;
  • 选择网络如2,打开top250文件,可以看到header信息如4;
  • 这里以safari为例,其它浏览器大致相同,可以自行了解,若没有显示,可以尝试刷新页面。

03-01.png

翻页处理

页面解析

  • 和之前一样,我们使用浏览器的开发者工具找到要爬取数据的信息,发现其位于pl2类的div下的a中,如下图所示

03-02.png

4. 代码

import requests
from bs4 import BeautifulSoup

def get_books():
# 1. 获取页面
    headers = {
        'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1 Safari/605.1.15',
        'Host': 'book.douban.com'
    }
    
    book_list = []
    
    for i in range(0,10):
        url = 'https://book.douban.com/top250?start='+str(i*25)
        response = requests.get(url, headers=headers, timeout=15)
        print('页面:', str(i), '; 状态:', response.status_code)
        
# 2. 解析页面
        soup = BeautifulSoup(response.text, "lxml")
        title_list = soup.find_all('div', class_='pl2')
        for title in title_list:
            #删除空格、换行,由于小标题的存在,导致有的书名中间出现换行和空格
            book = title.a.text.strip().replace('\n','').replace(' ','')
            book_list.append(book)
            
# 3. 写入文件
    with open('03_books.txt','a+') as f:
        for book in book_list:
            f.write(book+'\n')
            
    return 

get_books()
print('完成')

参考资料

评论

暂无评论