scrapy学习之路5(selenium集成到scrapy下(crawspider未测试))
文章目录
1:基本
Middlewares.py(downloader)
spider/xxx.py
settings.py
2:优化
为了不让chrome每次启动,添加它到Middleware定义类的初始方法中启动
Middlewares.py(downloader)
3:优化(浏览器的自动开启与关闭)
在spider/xxx.py中
Middlewares.py(downloader)
加入信号链dispatcher,signals
spider/xxx.py
爬虫结束会输出
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论