HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Python 爬取留言板留言(二):多线程版+selenium模拟

一、项目概述本项目主要是对领导留言板内的所有留言的具体内容进行抓取,对留言详情、回复详情和评价详情进行提取保存,并用于之后的数据分析和进一步处理,可以对政府的决策和电子政务的实施提供依据。具体项目说明和环境配置可参考本系列的第一篇。本篇在第一篇的基础上做了一些改进1.采用了多线程,设定同时运行的线程的数量为3,线程数量适中,这样在保证在同一时刻有多个线

爬虫入门经典(十四) | 使用selenium尝试爬取豆瓣图书

大家好,我是不温卜火,是一名计算机学院大数据专业大三的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限,博客中难免会有一些错误出现,有纰漏之处恳请各位大佬不吝赐教!暂时只在csdn这一个平台进行

【DevOps进行时】开源/免费界面自动化测试工具对比研究 | IDCF

摘要随着我行自动化测试实施范围的不断扩大,参与界面自动化测试的应用系统越来越多。我行的应用系统现阶段多采用商用工具QTP(UFT)作为执行工具来进行界面自动化测试,采购的QTPlicense是有限的,使得资源的竞争越来越激烈。未来,使用开源/免费的界面自动化测试代替QTP,是必然发展的

Selenium爬虫实践:ajax请求抓包、浏览器退出

前言最近在搞公司内部系统,累的一批,需要从另一个内部系统导出数据存到数据库做分析,有大量的数据采集工作,又没办法去直接拿到那个系统的接口,太难了,只能爬虫,但是cookie还经常失效,为了不每次登录失效就来找我重新注入Cookie,我写了一个手机版的网页,用来控制后台的selenium自

Selenium爬虫实战:截取网页上的图片

前言同样是为了刷课,没想到工作后依然和大学一样逃脱不了需要刷网课的命运……正文直接说干货了,截取图片,需要截取的图片是什么图片大家都懂(说的就是你,验证码),其他图片的话不需要截取,直接拿到地址下载就行,验证码不行,同样的地址再访问一次内容就变了。我不知道为啥sel

Selenium使用代理出现弹窗验证如何处理

部分商业网站对爬虫程序限制较多,在数据采集的过程中对爬虫请求进行了多种验证,导致爬虫程序需要深入分析目标网站的反爬策略,定期更新和维护爬虫程序,增加了研发的时间和投入成本。这种情况下,使用无头浏览器例如Selenium,模拟用户的请求进行数据采集是更加方便快捷的方式。同时为了避免目标网站出现IP限制

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。