HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

Web UI自动化的设计和实践

​背景UI自动化测试,即通过自动化的手段来控制机器模拟人进行手工操作。随着GrowingIO业务的不断发展,新需求的不断增加,回归测试的任务越来越重,现有测试的资源已经不足以应对繁重的回归测试任务,亟需UI自动化来代替人手工进行回归测试,解放回归测试的人力去做更精准的测试。因此

Python爬虫 | Selenium爬取当当畅销图书排行

01前言上篇文章我们爬取了,心情相当愉悦,今天这篇文章我们使用Selenium来爬取当当网的畅销图书排行。正所谓书中自有黄金屋,书中自有颜如玉,我们通过读书学习来提高自身的才华,自然能有荣华富贵,也自然少不了漂亮小姐姐。02准备工作在爬取数据前,我们需要安装Selenium库以及Chrome浏览器,并配置好Chro

基于selenium与firefox的爬虫实现方案

百度百科对selenium的定义:Selenium是一个用于Web应用程序测试的工具。所以爬虫在将selenium应用到生产环境的时候会遇到一些问题,以下是我在使用的时候遇到的问题以及解决方案,针对这些问题我也开源了一个selenium的使用工具,该工具是基于seleniumjava

别去送死了。Selenium 与 Puppeteer 能被网站探测的几十个特征

摄影:产品经理味道很好的毛血旺很多人喜欢使用Selenium或者Puppeteer(Pyppeteer)通过模拟浏览器来编写爬虫,自以为这样可以不被网站检测到,想爬什么数据就爬什么数据。但实际上,Selenium启动的浏览器,有几十个特征可以被网站通过JavaScript探测到。Puppeteer启动的浏览器,也有很多特征能够被网站探测。

selenium爬虫:一行代码去掉所有webdriver痕迹

问题首先回顾前两篇selenium系列selenium爬虫使用了代理为什么还是被服务器判定为机器人?以及selenium爬虫使用代理情况下不设置这几个参数,代理就白加了,正确的关闭webrtc以及设置成代理的时区和地理位置,可以很好的帮我们的浏览器伪装成正儿八经的正常浏览器,犹如滤镜可

Python 不用selenium 带你高效爬取京东商品评论

一、项目说明1.项目背景一天,一朋友扔给我一个链接,让我看看这个歌商品的所有评论怎么抓取,我打开一看,好家伙,竟然有近300万条评论,不是一个小数目啊。但是仔细一看,原来有234万的评论是默认好评,还是有少部分是有价值的评价的。经过进一步观察,可以看到显然,网页中显示的只有100页数据,每页显示10条,通常可以用selenium点击每一页然后获取

Python 爬取留言板留言(三):多进程版+selenium模拟

一、项目概述本项目主要是对领导留言板内的所有留言的具体内容进行抓取,对留言详情、回复详情和评价详情进行提取保存,并用于之后的数据分析和进一步处理,可以对政府的决策和电子政务的实施提供依据。具体项目说明和环境配置可参考本系列的第一篇。本篇在第二篇的基础上做了一个主要改进:从多线程改变为多进程,设定同时运行的进程的数量为3,数量适中,这样在保证在同一

正在加载更多文章…

加载更多

已加载文章中没有匹配内容,可继续加载更多。