CuterCorley CuterCorley
3年前
Python 爬取留言板留言(一):单进程版+selenium模拟
@toc一、项目概述1.项目说明本项目主要是对领导留言板内的所有留言的具体内容进行抓取,对留言详情、回复详情和评价详情进行提取保存,并用于之后的数据分析和进一步处理,可以对政府的决策和电子政务的实施提供依据。网站链接是,任意选择一条留言点击进入详情页后,如下对于图中标出的数据,均要进行爬取,以此构成一条留言的组成部分。2.环境配置(1)P
CuterCorley CuterCorley
3年前
Python 爬取留言板留言(二):多线程版+selenium模拟
一、项目概述本项目主要是对领导留言板内的所有留言的具体内容进行抓取,对留言详情、回复详情和评价详情进行提取保存,并用于之后的数据分析和进一步处理,可以对政府的决策和电子政务的实施提供依据。具体项目说明和环境配置可参考本系列的第一篇。本篇在第一篇的基础上做了一些改进1.采用了多线程,设定同时运行的线程的数量为3,线程数量适中,这样在保证在同一时刻有多个线
CuterCorley CuterCorley
3年前
Python 爬取留言板留言(三):多进程版+selenium模拟
一、项目概述本项目主要是对领导留言板内的所有留言的具体内容进行抓取,对留言详情、回复详情和评价详情进行提取保存,并用于之后的数据分析和进一步处理,可以对政府的决策和电子政务的实施提供依据。具体项目说明和环境配置可参考本系列的第一篇。本篇在第二篇的基础上做了一个主要改进:从多线程改变为多进程,设定同时运行的进程的数量为3,数量适中,这样在保证在同一
Stella981 Stella981
2年前
C#使用Selenium实现QQ空间数据抓取 说说抓取
上一篇讲的是如何模拟真人操作登录QQ空间,本篇主要讲述一下如何抓取QQ说说数据继续登录空间后的操作登陆后我们发现QQ空间的菜单其实是固定的,只需要找到对应元素就可以,继续XPath!(https://images2018.cnblogs.com/blog/318685/201808/3186852018082909444441195851
Wesley13 Wesley13
2年前
UI自动化的第一步(Python,pip,selenium,PyCharm安装配置)
一,py安装1.python下载,安装,环境配置地址:https://www.runoob.com/python/pythoninstall.html(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fwww.runoob.com%2Fpython%2Fpythonin
Wesley13 Wesley13
2年前
🔥《手把手教你》系列基础篇之3
1\.简介上一篇中,只是简单地一带而过的说了一些驱动浏览器,这一篇继续说说驱动浏览器,然后再说一说元素定位的方法。完成环境的安装并测试之后,我们对Selenium有了一定的了解了,接下来我们继续驱动浏览器做一些基本操作:窗口尺寸设置、网页截图、刷新、前进和后退2\.窗口尺寸设置在测试过程中,我们可能会要求打开浏览器的窗
Stella981 Stella981
2年前
Selenium3自动化测试【13】FireFox与Chrome浏览器元素定位
目前大部分浏览器都内置了相关插件或组件,能够帮助我们快速、简洁地展示各类元素的属性定义、DOM结构、CSS样式等属性。本书中使用的浏览器主要是FireFox、Chrome(这2款浏览器也是作为开发者常用的浏览器),因此本节介于这2款浏览器一起看看这些工具(组件)的使用方法。火狐(FireFox)浏览器如果大家对火狐浏览器较为熟知,在旧版本上的
Stella981 Stella981
2年前
Python&Selenium&Unittest&BeautifuReport 自动化测试并生成HTML自动化测试报告
一、摘要本篇博文将介绍如何借助BeautifulReport和HTML模版,生成HTML测试报告的BeautifulReport源码Clone地址为https://github.com/TesterlifeRaymond/BeautifulReport,其中BeautifulReport.py和其template是我们需要的关键。二
Python进阶者 Python进阶者
1年前
Python网络爬虫过程中这个selenium对应的火狐驱动怎么用不了?
大家好,我是皮皮。一、前言前几天在Python最强王者交流群【孤独】问了一个Python网络爬虫处理的问题,提问截图如下:报错截图如下:二、实现过程这里【隔壁山楂】、【此类生物】都看到真实路径和代码中写的不匹配,导致没找到对应的驱动。其实针对驱动选择,常用的方法就是将驱动加入到环境变量,一劳永逸。这里【瑜亮老师】、【此类生物】也指出使用绝对路径去加载驱动