Scrapy 分布式爬虫:大规模采集汽车之家电车评论
文章目录
汽车之家电车评论包含车型体验、续航表现等关键信息,是产品分析与市场调研的核心数据源。单台机器运行Scrapy爬虫易触发反爬、效率低下,分布式爬虫通过多机器协同,可有效解决这一问题。本文将精简讲解Scrapy分布式爬虫的搭建、配置、开发及部署,附带完整可运行代码,助力开发者快速实现大规模评论采集。 一、核心技术栈与环境准备 搭建Scrapy分布式爬虫需多组件协同,核心配置如下: 1.1 核心技术选型 Scrapy:核心爬虫框架,负责请求、解析与调度,支持中间件扩展。 Scrapy-Redis:分布式核心,替代本地调度器,实现多机器任务共享与去重。 Redis:存储待爬URL、去重集合,支持高并发访问。 Python 3.8+:确保依赖兼容性;MySQL:结构化存储评论数据。 亿牛云代理(www.16yun.cn):动态切换IP,规避反爬封禁。 1.2 环境搭建步骤 安装依赖:pip install scrapy scrapy-redis redis pymysql requests Redis配置:安装后修改redis.conf,注释bind 127.0.0.1、关闭protected-mode no,允许分布式节点访问。 MySQL准备:创建数据库和表,SQL语句如下: CREATE DATABASE IF NOT EXISTS car_home_ev;USE car_home_ev;CREATE TABLE IF NOT EXISTS ev_comments (id INT PRIMARY KEY AUTO_INCREMENT,car_model VARCHAR(50) NOT NULL,user_name VARCHAR(30),comment_time VARCHAR(20),comment_content TEXT NOT NULL,score INT,mileage VARCHAR(20),crawl_time DATETIME DEFAULT CURRENT_TIMESTAMP) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; 代理配置:注册亿牛云代理,获取服务器地址、账号密码备用。 二、Scrapy分布式爬虫核心原理 传统Scrapy爬虫数据存储于单台机器内存,无法协同。Scrapy-Redis重写调度器与去重器,将核心数据存入Redis,实现多机器共享任务: 任一节点启动爬虫,将初始URL存入Redis待爬队列(scrapy:requests)。 所有节点连接Redis,获取URL执行爬取,解析数据与新URL。 新URL经Redis去重(scrapy:dupefilter)后加入队列,数据存入MySQL。 待爬队列为空时,爬虫终止,单节点故障不影响整体任务。 三、实战开发:Scrapy分布式爬虫搭建(附代码) 以下代码可直接复制运行,仅需修改代理、数据库等个人配置。 3.1 创建项目与分布式配置 3.1.1 创建项目 3.1.2 settings.py核心配置 3.2 数据模型(items.py) 3.3 代理中间件(middlewares.py) 在settings.py中添加中间件配置: 3.4 核心爬虫(ev_comment.py) 3.5 数据存储Pipeline(pipelines.py)
import pymysql
from datetime import datetime
from car_home_ev_spider.settings import MYSQL_HOST, MYSQL_USER, MYSQL_PASSWORD, MYSQL_DB, MYSQL_PORT
class CarHomeEvSpiderPipeline:
def __init__(self):
# 初始化数据库连接
self.conn = pymysql.connect(
host=MYSQL_HOST, user=MYSQL_USER, password=MYSQL_PASSWORD,
database=MYSQL_DB, port=MYSQL_PORT, charset='utf8mb4'
)
self.cursor = self.conn.cursor()
def process_item(self, item, spider):
item['crawl_time'] = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
# 插入数据,避免重复
sql = """
INSERT INTO ev_comments (car_model, user_name, comment_time, comment_content, score, mileage, crawl_time)
VALUES (%s, %s, %s, %s, %s, %s, %s)
ON DUPLICATE KEY UPDATE comment_time = VALUES(comment_time), score = VALUES(score)
"""
try:
self.cursor.execute(sql, (item['car_model'], item['user_name'], item['comment_time'],
item['comment_content'], item['score'], item['mileage'], item['crawl_time']))
self.conn.commit()
except Exception as e:
self.conn.rollback()
spider.logger.error(f"插入失败:{str(e)}")
return item
def close_spider(self, spider):
self.cursor.close()
self.conn.close()
四、分布式部署与运行 4.1 节点准备 多台机器需与Redis服务器同局域网,安装相同环境,复制项目并确保所有节点REDIS_URL、代理、数据库配置一致。 4.2 启动步骤 启动Redis服务,通过redis-cli ping测试连接。 各节点进入项目目录,执行scrapy crawl ev_comment启动爬虫。 通过redis-cli keys *查看任务队列,通过MySQL查询实时查看爬取数据。 五、反爬应对与优化 控制请求频率,调整DOWNLOAD_DELAY,节点数量控制在5-10台。 定期更新Cookie,及时适配汽车之家页面变化,调整XPath表达式。 增加异常捕获与重试机制,通过日志排查问题,可实现增量爬取减少重复工作。 六、总结与扩展 本文实现了Scrapy分布式爬虫采集汽车之家电车评论,解决了单机器爬取效率低、易反爬的问题。后续可扩展情感分析、数据可视化、定时爬取等功能,适配多汽车平台,进一步提升数据价值。分布式爬虫的核心是协同高效,需根据反爬强度灵活调整策略,确保稳定采集。

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论