复杂爬虫编写心得
文章目录
信息收集和网站地图绘制比编程更重要。
浏览器访问效率的最大值是爬虫效率的最低值。
永远不要使用selenium,尽量不要使用phantomjs
对于脾气暴躁、技术能力强的网站,要让爬虫变的友善
复杂爬虫不宜过度优化,越冗余,维护成本越低。
尽量使用api和手机端接口。
信息收集和网站地图绘制比编程更重要。
浏览器访问效率的最大值是爬虫效率的最低值。
永远不要使用selenium,尽量不要使用phantomjs
对于脾气暴躁、技术能力强的网站,要让爬虫变的友善
复杂爬虫不宜过度优化,越冗余,维护成本越低。
尽量使用api和手机端接口。
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论