抓取网页用户代理(user-agent)

抓取网页防止被屏蔽,除了找代理,最简单的办法应该就是发送请求的时候随机更改user-agent的信息

下面这个地址是一个大全的user-agent地址

http://techpatterns.com/downloads/firefox/useragentswitcher.xml

可以获取此文件分析结果缓存到本地,发送请求时从中随机取user-agent.

评论

暂无评论