跳槽达人的头像 ID: 31383024870

跳槽达人

HelloWorld 社区成员

2569665420

文章2
个人网站0
加入社区2025

什么样的爬虫才是好爬虫:Robots协议探究

网站的管理者们通常会有这样一种心态:一方面期待百度、Google这样的搜索引擎来抓取网站的内容,另一方面又很厌恶其他来路不明的网络爬虫抓取自己的信息。正是因为这样,才有“好爬虫”、“坏爬虫”这样的说法。提到“好爬虫”,就不得不提网络爬虫与web之间的访问授权协议——Robots协议了。