手把手教你使用XPath爬取免费代理IP

Karen110 等级 1055 0 0
标签: xpath代理ip

大家好,我是霖hero。

前言

=====

可能有人说,初学者Python爬虫爬数据太难啦,构造正则表达式的时候,太烦琐了,眼睛都看花了,而且前一秒还可以愉快地爬取,下一秒IP就被封了,这还爬个屁啊,不爬了。哎,不要着急,这篇文章我们教你如何使用XPath来爬取快代理中的免费代理IP,告别眼花,告别IP被封的烦恼。

XPath

首先我们来简单了解一下XPath,想要了解更多XPath,我们可以打开W3school官方文档进行了解。

什么是 XPath?

  • XPath是XML路径语言(XML Path Language);

  • XPath 使用路径表达式在 XML 文档中进行导航;

  • XPath 包含一个标准函数库;

  • XPath 是 XSLT 中的主要元素;

  • XPath 是一个 W3C 标准;

XPath作用是什么?

  • XPath用来确定XML文档中某部分位置的语言

  • XPath在XML文档中查找信息的语言

  • XPath用于在XML文档中通过元素和属性进行导航。

XPath 含有超过 100 个内建的函数。这些函数用于字符串值、数值、日期和时间比较、节点和 QName 处理、序列处理、逻辑值等等。在Python爬虫中,我们完成可以使用XPath来做相应的信息抽取。

XPath——常用规则

简单了解一下XPath后,我们来看看它的常用规则,如下表:

表达式 描述
nodename 选取此节点的所有子节点
/ 从根节点选取
// 从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置
. 选取当前节点
.. 选取当前节点的父节点
@ 选取属性

我们来简单说一个示例:

//title[@*]

这就是一个XPath规则,它代表选择选取所有带有属性的 title 元素。

好了,大概了解了XPath的常用规则和用法了,我们来添加一个Chrome浏览器的小插件——XPath Helper,这个小插件可以大大提高了我们使用XPath的效率。

XPath Helper的添加与使用

XPath Helper的添加

首先打开Chrome商店搜索XPath Helper,如下图所示:

手把手教你使用XPath爬取免费代理IP

点击方框2,将插件添加至Chrome中,如下图所示:

手把手教你使用XPath爬取免费代理IP

这里我们推荐点击下图的小图钉,更方便我们使用XPath Helper插件

手把手教你使用XPath爬取免费代理IP

这样XPath Helper插件就添加完毕了,接下来我们简单演示一下如何使用该插件。

XPath Helper的使用

首先我们打开今天要爬取的快代理网站并打开开发者工具,找到我们要爬取内容的节点,如下图所示:

手把手教你使用XPath爬取免费代理IP

然后打开我们添加的插件,并输入XPath规则,如下图所示:

手把手教你使用XPath爬取免费代理IP

我们根据了table节点信息,来构造了XPath规则,输入XPath规矩可以直接看到返回的是什么,这样我们就不需要每构成一次就在程序里运行看看能不能返回我们想要的值,这样大大提高我们的效率。

实战演练

爬取首页

我们首先打开快代理免费代理网站并打开开发者工具,如下图所示:

手把手教你使用XPath爬取免费代理IP

通过观察可以发现,页面的URL最后的那个数字就是页码,也就是我们进行翻页的重要参数,这里我们使用了page变量为我们翻页的参数,具体代码如下:

headers={  
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.106 Safari/537.36'  
}  
def get_page(page):  
    url='https://www.kuaidaili.com/free/inha/'+str(page)  
    response=requests.get(url,headers=headers)  
    #数据类型转换  
    html = parsel.Selector(response.text)  
    parse_page(html)  

首先我们构造了一个请求头,然后定义了一个get_page()方法,这里要注意的是,当我们获取了请求页面的文本数据时,要进行数据类型的转换,转换为XPath可以查找信息的HTML文本,也就是创建了一个parsel.Selector对象,转换后,我们就调用parse_page()方法,并传入html参数。

XPath规则提取内容

我们已经成功提取了网页的HTML文本,接下来我们开始利用XPath规则来提取想要的内容,首先我们要确定XPath规则提取内容的范围,如下图所示:

手把手教你使用XPath爬取免费代理IP

从图中我们可以看到table节点里包含我们要提取内容,然后我们使用XPath Helper插件来方便我们确定是否能准确提取目标内容,如下图所示:

手把手教你使用XPath爬取免费代理IP

图中的方框就是我们要提取内容的范围,确定范围后,我们确定提取内容对应的XPath规则,如下图所示:

手把手教你使用XPath爬取免费代理IP

好了,我们成功提取到了IP地址,经过观察,我们只要把图中左上角的方框中IP改为PORT,这样就可以提取到了端口号了,具体实现代码如下:

def parse_page(html):  
    #XPath的匹配范围  
    parse_list = html.xpath('//table[@class="table table-bordered table-striped"]/tbody/tr')  
    for tr in parse_list:  
        parse_lists = {}  




 http=tr.xpath('./td[@data-title="类型"]//text()').extract_first()  
        num=tr.xpath('./td[@data-title="IP"]//text()').extract_first()  
        port=tr.xpath('./td[@data-title="PORT"]//text()').extract_first()  
        parse_lists[http]=num+':'+port  
        time.sleep(0.1)  
        print(parse_lists)

要注意的是:

  • 我们在构造XPath规则时,如://td[@data-title="IP"],我们要将最前面的/改为.,否则只匹配页面的第一个内容;

  • 在XPath规则中,通过使用text()方法获取节点内部的文本,如在规则后面加//text();

  • 调用extract_first()返回的是一个string字符串,是list数组里面的第一个字符串。

最后我们通过构造一个parse_lists字典,来使我们的数据更好看。

循环遍历

我们使用一个for循环,来遍历翻页,具体代码为:

if __name__ == '__main__':  
    for page in range(1,3):  
        get_page(page)  

好了,这样我们就成功爬取了快代理的免费代理IP的前两页,我们可以根据需要来进行保存免费代理IP。

结果展示

手把手教你使用XPath爬取免费代理IP

代码获取

最后需要本文代码的小伙伴可以在后台回复”代理IP“关键字进行获取,有问题可以在公众号后台添加小编微信,小编帮助大家解决。

**-----**------**-----**---**** End **-----**--------**-----**-****

往期精彩文章推荐:

手把手教你使用XPath爬取免费代理IP

欢迎各位大佬点击链接加入群聊【helloworld开发者社区】:https://jq.qq.com/?_wv=1027&k=mBlk6nzX进群交流IT技术热点。

本文转自 https://mp.weixin.qq.com/s/3YnXJDaUQndibNJJiL5AXA,如有侵权,请联系删除。

收藏
评论区

相关推荐

python爬虫之数据提取Xpath(爬取起点中文网案例)
(https://blog.csdn.net/sjjsaaaa/article/details/111293732)Xpath 详细的Xpath介绍手册—— https://www.w3school.com.cn/xpa
Python解析库lxml与xpath用法总结
本文主要围绕以xpath和lxml库进行展开: 一、xpath 概念、xpath节点、xpath语法、xpath轴、xpath运算符 二、lxml的安装、lxml的使用、lxml案例 一、xpath 1.xpath概念 XPath 是一门在 XML 文档中查找信息的语言。XPath 使用路径表达式在 XML 文档中进行导航 。XPath 包含一个标
《Python3网络爬虫开发实战》
提取码:1028内容简介 · · · · · ·本书介绍了如何利用Python 3开发网络爬虫,书中首先介绍了环境配置和基础知识,然后讨论了urllib、requests、正则表达式、Beautiful Soup、XPath、pyquery、数据存储、Ajax数据爬取等内容,接着通过多个案例介绍了不同场景下如何实现数据爬取,后介绍了pyspider框架、S
Python解析库lxml与xpath用法总结
本文主要围绕以xpath和lxml库进行展开:一、xpath 概念、xpath节点、xpath语法、xpath轴、xpath运算符二、lxml的安装、lxml的使用、lxml案例 一、xpath1.xpath概念XPath 是一门在 XML 文档中查找信息的语言。XPath 使用路径表达式在 XML 文档中进行导航 。XPath 包含一个标准函数库 。XP
手把手教你使用XPath爬取免费代理IP
大家好,我是霖hero。前言 可能有人说,初学者Python爬虫爬数据太难啦,构造正则表达式的时候,太烦琐了,眼睛都看花了,而且前一秒还可以愉快地爬取,下一秒IP就被封了,这还爬个屁啊,不爬了。哎,不要着急,这篇文章我们教你如何使用XPath来爬取快代理中的免费代理IP,告别眼花,告别IP被封的烦恼。XPath首先我们来简单了解一下XPath,想要了解更多
lxml简明教程
from:https://www.cnblogs.com/ospider/p/5911339.html 最近要做下微信爬虫,之前写个小东西都是直接用正则提取数据就算了,如果需要更稳定的提取数据,还是使用 xpath 定位元素比较可靠。周末没事,从爬虫的角度研究了一下 python xml 相关的库。 Python 标准库中自带了 xml 模块,但是性能不
Java根据XPath提取HTML
有这样一段HTML:  <div><table><td id='1234 foo 5678'>Hello</td> 希望通过这个XPath提取出Hello: //div//td[contains(@id, 'foo')]/text() 先导入maven依赖: <!-- https://mvnrepository.com/ar
GuozhongCrawler实现一个完整爬虫
    经过上一节开发环境搭建中的百度新闻的爬虫例子,相信大家已经对GuozhongCrawler简洁的API产生浓厚兴趣了。不过这个还不算一个入门例子。只是完成了简单的下载和解析。现在我们来完成一个比较完整的爬虫吧。     为了体现GuozhongCrawler适应业务灵活性。我们以抓取西刺代理(http://www.xici.net.co/nn/1)
Katalon系列十九:元素相同或无法定位时的定位技巧
经常看到有人问元素属性都相同,怎么定位,这里总结一下。 下面以Xpath为例讲解,CSS其实也是一样的,只是语法不一样罢了。网上说CSS会比Xpath快一些,但在Katalon主用Xpath,感觉也还行。另外Katalon做为一个产品,他们选择主打Xpath,相信也是有原因的。当然了,也有极小可能他们的骨干对Xpath比较熟。Katalon也支持CSS,
Python+Selenium练习篇之5
前面介绍了,XPath, id , class , link text, partial link text, tag name, name 七大元素定位方法,本文介绍webdriver支持的最后一个方法:by\_css。css和XPath类似,也需要掌握一些语法,才能写出正确的,完整的css选择表达式。 相关脚本代码如下: # coding=u
Python爬虫
Python爬虫-xpath ============== * Python爬虫-xpath * 说明 * 再说明 * 插件推荐 * 语法讲述 * 举栗子 * 代码里使用 * 实战句子迷 * 需要的总结: 说明 -- 关于Python爬虫请求数据方面的知
Python爬虫:现学现用xpath爬取豆瓣音乐
爬虫的抓取方式有好几种,**正则表达式,Lxml(xpath)与BeautifulSoup,**我在网上查了一下资料,了解到三者之间的使用难度与性能 三种爬虫方式的对比。 ![](https://oscimg.oschina.net/oscnet/2daa493a02eeb49299b1ab6db462cb42124.png) 这样一比较我我选择了Lx
Python自动化测试PO模式
页面元素定位信息 -------- 页面元素定位信息文件 [leadscloud_login] input_user_name = xpath>//*[@id='main']/div/div[2]/div[2]/div[2]/div/form/div[1]/div/div/input input_user_password = x
Python解析库lxml与xpath用法总结
点击上方“**IT共享之家**”,进行关注 回复“**资料**”可获赠Python学习福利 今 日 鸡 汤 欢笑情如旧,萧疏鬓已斑。 本文主要围绕以xpath和lxml库进行展开: 一、xpath 概念、xpath节点、xpath语法、xpath轴、xpath运算符 二、lxml的安装、lxml的使用、lxml案例 **一、xpa
Selenium2学习(六)
前言 大部分人在使用selenium定位元素时,用的是xpath定位,因为xpath基本能解决定位的需求。css定位往往被忽略掉了,其实css定位也有它的价值,css定位更快,语法更简洁。 这一篇css的定位方法,主要是对比上一篇的xpath来的,基本上xpath能完成的,css也可以做到。两篇对比学习,更容易理解。 一、css:属性定位