CuterCorley CuterCorley
3年前
Python 不用selenium 带你高效爬取京东商品评论
一、项目说明1.项目背景一天,一朋友扔给我一个链接,让我看看这个歌商品的所有评论怎么抓取,我打开一看,好家伙,竟然有近300万条评论,不是一个小数目啊。但是仔细一看,原来有234万的评论是默认好评,还是有少部分是有价值的评价的。经过进一步观察,可以看到显然,网页中显示的只有100页数据,每页显示10条,通常可以用selenium点击每一页然后获取
Aidan075 Aidan075
3年前
用python爬取4332条粽子数据进行分析,再送15盒粽子给大家
↑点击上方“凹凸数据” 关注星标 文章干货!有福利 ! 端午节快要到了,甜咸粽子之争也快要拉开帷幕。小五准备用Python爬取淘宝上的粽子数据并进行分析,看看有什么发现。(顺便送大家一波福利)爬虫爬取淘宝数据,本次采用的方法是:Selenium控制Chrome浏览器自动化操作\1\。其实我们还可以利用Ajax接口来构造链接,但是非常
Stella981 Stella981
2年前
Python中Selenium选择日期(选择日历控件)的方法
1.日历控件中,年月日,一个一个的点击,灵活性太差,稳定性也差通过检查元素,日历空间就是一个文本输入框,可以用send\_keys检查元素2.发现标签中存在readonly属性,这是一个只读标签_不能进行输入(如果可以直接再日期输入框进行输入,就不需要2、3、4步骤啦,直接操作第5步骤)___3.所以,我们只需要删除readonly
Stella981 Stella981
2年前
Selenium(十二):操作Cookie、调用JavaScript、HTML5的视频播放
1\.操作Cookie有时候我们想要验证浏览器中cookie是否正确,因为基于真实cookie的测试是无法通过白盒和集成测试的。WebDriver提供了操作Cookie的相关方法,可以读取、添加和删除cookie信息。WebDriver操作cookie的方法:get\_cookies():获得所有cookie信息
Stella981 Stella981
2年前
Chrome handless模式
我们在通过Selenium运行自动化测试时,必须要启动浏览器,浏览器的启动与关闭必然会影响执行效率,而且还会干扰你做其它事情(本机运行的话)。那能不能把自动化测试的运行放在后台?当然可以!Chromeheadless模式,Google针对Chrome浏览器59版新增加的一种模式,可以让你不打开UI界面的情况下使用Chrome浏览器
Wesley13 Wesley13
2年前
Java+Selenium+Sikulix定位web系统中的swfupload上传控件
图形化自动化测试软件Sikulix1、下载Sikulix控件java语言相关Jar包2、将sikulixapi.jar包buildpath到项目中3、创建一个demopackagecom.yunxiao.testidsp;importorg.sikuli.script.;publicc
Stella981 Stella981
2年前
Selenium WebDriver中一些鼠标和键盘事件的使用
在使用SeleniumWebDriver做自动化测试的时候,会经常模拟鼠标和键盘的一些行为。比如使用鼠标单击、双击、右击、拖拽等动作;或者键盘输入、快捷键使用、组合键使用等模拟键盘的操作。在WebDeriver中,有一个专门的类来负责实现这些测试场景,那就是Actions类,在使用该类的过程中会配合使用到Keys枚举以及Mouse、Ke
Stella981 Stella981
2年前
Python 实现短信轰炸机
原理其实很简单,就是利用selenium包打开各种网站的注册页,输入轰炸的号码,实现轰炸。其实也算是利用了注册漏洞。申明:仅娱乐使用,禁止:u7981:️用于非法用途!若用于非法用途,后果及法律责任博主一律不承担很多人学习python,不知道从何学起。很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手。很
Wesley13 Wesley13
2年前
Selenium2 Python 自动化测试实战学习笔记(八)
Python多线程分布式和并行是完全不同的概念,分布式只负责将一个测试脚本可调用不同的远程环境来执行;并行强调“同时”的概念,它可以借助多线程或多进程技术并行来执行脚本技术。10.1单进程的时代        在单线程的时代,当处理器要处理多个任务时,必须要对这些任务排一下执行顺序并按照这个顺序
Python进阶者 Python进阶者
1年前
练习爬虫,我想问一下这个xpath语句为啥找不到元素,感谢大佬!
大家好,我是皮皮。一、前言前几天在Python钻石交流群【萤火】问了一个Python网络爬虫的问题,下图是截图:下图是报错截图:二、实现过程这里【error】给了一个代码,如下所示,满足粉丝的需求:用selenium没找到的话,大概率是网页还没渲染出来,代码就运行到了抓取规则,所以抓不到。其实他的匹配规则是可以拿到数据的,只不过用jupyter运行sel