Data-爬虫-02 第一个网络爬虫

Data-爬虫-02 第一个网络爬虫

We're here to put a dent in the universe. Otherwise why else even be here. --Steve Jobs

1. 环境配置

  • 关于python环境、anaconda使用等内容请参考前言-02 环境与配置部分,本次实验所需要安装的库是requests和bs4。
  • requests库:一个方便简单的Python HTTP库,提供了http所有的请求方法,其优势、特点可以看起官方文档。
  • bs4库:全名BeautifulSoup,编写爬虫的常用库之一,主要用来解析html标签。
  • 安装

    # 进入终端
    $conda install -n data_env_37 requests #在环境中配置requests库和其依赖
    $conda install -n data_env_37 beautifulsoup4 #在环境中配置bs4库和其依赖
    $jupyter-notebook #打开jupyter,新建一个notebook

2. 第一个网络爬虫

  • 爬取网站为作者个人维护的网页,感谢作者,如若侵权,还请告知。

网页分析

  • 在爬去之前,我们有必要对要进行爬取的网页做一定的分析,这里我们以Safari浏览器为例。
  • 首先,我们需要打开浏览器的开发者模式,点击safari浏览器-偏好设置-高级,勾选最下方在菜单栏中显示“开发”菜单,然后,我们可以看到在顶部栏出现了开发选项。
  • 然后进入网页,点击开发-显示网页检查器,出现如下图内容

    02-01.png

    • 首先点击1处,再选择想要爬取的内容,如2处标题;
    • 点击后,会出现代码中该标题位置,如3处,可知其标签和类信息,如4处;
    • 这些信息会用在步骤二的解析网页、提取数据之中。

步骤一:获取网页

import requests
from bs4 import BeautifulSoup

link = "http://www.santostang.com/" #link为目标网页地址
# 定义请求头的浏览器代理,伪装成浏览器
headers = {'User-Agent' : 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'} 

r = requests.get(link, headers= headers) #请求网页
print (r.text)  # r.text是获取的网页内容代码

步骤二:提取数据

soup = BeautifulSoup(r.text, "html.parser")  #解析页面代码

#找到全部文章标题,定位到class是"post-title"的h1元素,然后逐一提取a,提取里面的字符串,strip()去除左右空格
titles = soup.find_all("h1", class_="post-title")
titlelist = []
for title in titles:
    titlelist.append(title.text.strip())
print(titlelist)

步骤三:存储数据

# 打开一个空白的txt,然后使用f.write写入获得的标题名称
with open('title_test.txt', "a+") as f:
    for title in titlelist:
        f.write(title+'\n')
原文爬取了单个标题,这里自己则捕获页面中全部标题,大家可以尝试爬取网页中其他信息。再次感谢作者的贡献。

参考资料

评论

暂无评论