python使用最广泛的库介绍

小白学大数据
• 阅读 250

python真的是很好的语言,首先python为我们封装了很多简单又实用的爬虫库。所以今天博主就带领大家认真的学习下python中被广泛实用的爬虫库——requests库。专为python而建,python有史以来被下载的最多的库之一。requests是一个很实用的Python HTTP客户端库,爬虫和测试服务器响应数据时经常会用到,requests是Python语言的第三方的库,专门用于发送HTTP请求,使用起来比urllib简洁很多。 基本使用方式:1、requests.get() 用于请求目标网站,类型是一个HTTPresponse类型。如各种类型的请求方式 `import requests

requests.get('http://httpbin.org/get') requests.post('http://httpbin.org/post') requests.put('http://httpbin.org/put') requests.delete('http://httpbin.org/delete') requests.head('http://httpbin.org/get') requests.options('http://httpbin.org/get')

2、使用代理 同添加headers方法,代理参数也要是一个dict这里使用requests库爬取了IP代理网站的IP与端口和类型 ``#! -- encoding:utf-8 --

import requests
import random

# 要访问的目标页面
targetUrl = "http://httpbin.org/ip"

# 要访问的目标HTTPS页面
# targetUrl = "https://httpbin.org/ip"

# 代理服务器(产品官网 www.16yun.cn)
proxyHost = "t.16yun.cn"
proxyPort = "31111"

# 代理验证信息
proxyUser = "username"
proxyPass = "password"

proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
    "host" : proxyHost,
    "port" : proxyPort,
    "user" : proxyUser,
    "pass" : proxyPass,
}

# 设置 http和https访问都是用HTTP代理
proxies = {
    "http"  : proxyMeta,
    "https" : proxyMeta,
}


#  设置IP切换头
tunnel = random.randint(1,10000)
headers = {"Proxy-Tunnel": str(tunnel)}



resp = requests.get(targetUrl, proxies=proxies, headers=headers)

print resp.status_code
print resp.text```

虽然这些库都很实用也简单,但是学爬虫我们还是要从底层慢慢的学起,万丈高楼平地起,它也是需要地基稳定的。

点赞
收藏
评论区
推荐文章
Irene181 Irene181
2年前
浅谈Python两大爬虫库——urllib库和requests库区别
一、前言在使用Python爬虫时,需要模拟发起网络请求,主要用到的库有requests库和python内置的urllib库,一般建议使用requests,它是对urllib的再次封装。那它们两者有什么区别?下面通过案例详细的讲解,了解他们使用的主要区别。二、urllib库简介:urllib库的response对象是先创建http,request对象
Aimerl0 Aimerl0
2年前
Python网络爬虫与信息提取
title:Python网络爬虫与信息提取date:2020121001:00:23tags:Pythoncategories:学习笔记写在前面不知道写啥其实说实话TOC网络爬虫之规则安装requests库cmd命令行打开输入pip3installrequests,等待即可简单测试,爬一下bkjwpythonimportrequ
Stella981 Stella981
2年前
Python中Requests库的高级用法
前面讲了Python的urllib库的使用和方法,Python网络数据采集Urllib库的基本使用,Python的urllib高级用法。今天我们来学习下Python中Requests库的用法。(官方手册(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fdocs.pythonreq
Stella981 Stella981
2年前
Python Challenge Level 18
初学Python,挑战一下流行的PythonChallenge,很不幸,卡在了18关~~被字符字节码之间的转换搞得焦头烂额,不过终于搞定了还是很happy的~~~主要的问题就是16进制形式的字符如何转成字节码(注意:不是encoding)如:\'89','50','4e','47','0d','0a','1a','0a','00
Stella981 Stella981
2年前
Python3:sqlalchemy对mysql数据库操作,非sql语句
Python3:sqlalchemy对mysql数据库操作,非sql语句python3authorlizmdatetime2018020110:00:00coding:utf8'''
Stella981 Stella981
2年前
Scapy 从入门到放弃
0x00前言最近闲的没事,抽空了解下地表最强的嗅探和收发包的工具:scapy。scapy是一个python模块,使用简单,并且能灵活地构造各种数据包,是进行网络安全审计的好帮手。0x01安装因为2020年python官方便不再支持python2,所以使用python3安装。!(https://oscimg.oschina.net/os
【Python学习教程】常用的8个Python数据可视化库!
Python是一门非常优秀的编程语言,被广泛的应用于各个领域,它不仅简单、易懂、语法清晰,还拥有各种各样的库,让我们的工作更高效、更便捷。今天为大家分享8个Python库,有了它们之后,数据可视化超轻松,快来学习一下吧。  数据可视化是展示数据、理解数据的有效手段,常用的Python数据可视化库如下:  1.Matplotlib第一个Python可视化库
Stella981 Stella981
2年前
Python数据科学“冷门”库
_摘要:_ 这些python库真“冷”,但真的很强大!!(https://oscimg.oschina.net/oscnet/81616debb8fed8cc42c3873938d5a9af0ff.jpg)Python是一种神奇的语言。事实上,它是近几年世界上发展最快的编程语言之一,它一次又一次证明了它在开发工作和数据科学立场各行业的实用性。整个
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
秦朗 秦朗
1个月前
沐言优拓-Python课程
//下仔のke:https://yeziit.cn/13767/Python是一种高级的、动态类型的编程语言,它具有简洁的语法和强大的标准库和丰富的第三方库。Python被广泛应用于各种领域,如Web开发、数据科学、人工智能、机器学习、网络爬虫、系统自动化
小白学大数据
小白学大数据
Lv1
男 · 亿牛云 · python技术
宁为代码类弯腰,不为bug点提交!
文章
60
粉丝
5
获赞
17