request爬虫
文章目录
代理
在需要代理的时候,可以通过为请求方法提供proxies参数来配置单个请求:
import requests
proxies = {
"http": "http://10.10.1.10:3128",
"https": "http://10.10.1.10:1080",
}
requests.get("http://example.org", proxies=proxies)
当代理需要使用HTTP Basic Auth时,可以使用http://user:password@host/语法(注意结尾的/号一定要有):
proxies = {
"http": "http://user:pass@10.10.1.10:3128/"
}
也可以通过环境变量HTTP_PROXY和HTTPS_PROXY来配置代理
$ export HTTP_PROXY="http://10.10.1.10:3128"
$ export HTTPS_PROXY="http://10.10.1.10:1080"
$ python
>>> import requests
>>> requests.get("http://example.org")

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论