抓取网页用户代理(user-agent)
文章目录
抓取网页防止被屏蔽,除了找代理,最简单的办法应该就是发送请求的时候随机更改user-agent的信息
下面这个地址是一个大全的user-agent地址
http://techpatterns.com/downloads/firefox/useragentswitcher.xml
可以获取此文件分析结果缓存到本地,发送请求时从中随机取user-agent.
抓取网页防止被屏蔽,除了找代理,最简单的办法应该就是发送请求的时候随机更改user-agent的信息
下面这个地址是一个大全的user-agent地址
http://techpatterns.com/downloads/firefox/useragentswitcher.xml
可以获取此文件分析结果缓存到本地,发送请求时从中随机取user-agent.
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论