rogerbot 爬虫介绍

爬虫程序大魔王
• 阅读 287

rogerbot 爬虫介绍

Rogerbot 是 Moz Pro Campaign 网站审核的 Moz 爬虫。它与 Dotbot 不同,Dotbot 是为链接索引提供支持的网络爬虫。Rogerbot 访问您网站的代码以将报告发送回您的 Moz Pro Campaign。这可以帮助您了解您的网站并教您如何解决可能影响您的排名的问题。Rogerbot 为您的站点抓取报告、按需抓取、页面优化报告和页面评分器提供数据。

Rogerbot 是如何处理 Robots.txt 文件

Rogerbot 旨在遵守 robots.txt 文件。您可以使用这个奇妙的文件来通知机器人它们应该如何在您的站点上运行。这有点像行为准则:你知道,脱掉你的鞋子,远离餐厅,把那些肘部从桌子上拿开,天哪!之类的东西。

每个站点都应该有一个 robots.txt 文件。您可以通过访问 www.pdflibr.com/robots.txt 来检查它是否存在。您还可以检查任何其他站点的 robots.txt 文件,只是为了好玩。例如:pdf-lib.org/robots.txtbaidu.com/robots.txt,是的,甚至是 google.com/robots.txt。任何人都可以看到您的 robots.txt 文件;它是公开的,所以请记住这一点。

如果您的网站没有 robots.txt 文件、您的 robots.txt 文件无法加载或返回错误,Rogerbot 可能无法抓取您的网站。这也可能导致导致服务器日志膨胀的错误。您需要在文件中包含一些内容,因为空白文件可能会使检查您的站点是否正确设置的人感到困惑。他们可能认为这是一个错误。即使您没有阻止任何机器人,配置了某些内容的文件也是可取的。

Rogerbot 用户代理

要直接与 rogerbot 交谈,您可以通过他们的名字(也称为用户代理)来称呼他们。Rogerbot 用户代理是:rogerbot。

如何通过 Robots.txt 允许 Rogerbot 抓取您的网站

要告诉 rogerbot 它可以抓取您网站上的所有页面,您可以在 robots.txt 文件这样写:

User-agent: rogerbot

Disallow:

disallow: 之后的字段为空,则特别表示不应阻止任何 URL

通过 Robots.txt 阻止 Rogerbot 抓取您的网站

如果您厌倦了 rogerbot 抓取您的网站,您可以通过在 robots.txt 文件中的 disallow 指令后添加斜杠 ("/") 来阻止抓取工具。那就是说:“Rogerbot,您无法访问这些页面中的任何一个,该站点上的所有页面都不适合您,请远离,伙计。”

使用您的 robots.txt 文件阻止 rogerbot 如下所示:

User-agent: rogerbot

Disallow: /

注意表示站点根目录的斜线。添加此代码将阻止 rogerbot 抓取您的网站所有页面。

您还可以从站点的某些部分(例如子文件夹)中排除 rogerbot。下面是阻止 rogerbot 抓取您某个目录的所有页面:

User-agent: rogerbot

Disallow: */manage/*

此语法仅告诉 Rogerbot 爬虫不要爬取任何包含此 URL 字符串的页面,例如:www.pdflibr.com/marketplace/

建议您在进行更改后使用这个机器人检查器工具检查您的 robots.txt 文件,以避免任何令人讨厌的意外。

通过 Robots.txt 爬行延迟以减慢 Rogerbot 爬虫对您网站的抓取速度

rogertbot 希望尽可能快地抓取您的网站,以便能够及时完成抓取,而不会给您的人类访问者带来问题。

如果您想减慢 rogerbot 的速度,可以使用 Crawl Delay 指令。以下指令仅允许 rogerbot 每 10 秒访问一次您的站点,下面是 robots.txt 的具体写法:

User-agent: rogerbot

Crawl-delay: 10

请记住,当您考虑一天有 86,400 秒时,这将允许 Rogerbot 在一天内访问 8,640 个页面,因此如果您有很多页面要抓取,这可能意味着抓取您的网站需要一段时间。

不建议添加大于 30 秒的抓取延迟,否则 rogerbot 可能无法完成对您网站的抓取。

Rogerbot 的 IP 范围

不幸的是,rogerbot 不使用静态 IP 地址或 IP 地址范围,因为 rogerbot 爬虫设计为采用动态方法。这意味着 rogerbot 使用数千个动态 IP 地址,每次运行爬网时这些地址都会发生变化。这种方法提供了最好的网络动态视图,但它可能使我们与某些服务器或托管服务提供商不兼容。

最好的选择是通过用户代理识别爬虫:rogerbot。

阻止 Rogerbot 访问动态页面

阻止 rogerbot 的爬虫访问这些动态标记页面的最佳方法是使用您的 robots.txt 文件中的 disallow 指令阻止它访问它们。它看起来像这样:

User-agent: Rogerbot

Disallow: /TAG TYPE

通过 Robots.txt 阻止除 Rogerbot 之外的所有机器人

确保在“所有机器人指令”上方有“用户代理特定指令”,例如下面的写法:

User-agent: rogerbot

Disallow:

User-agent: *

Disallow: /

rogerbot 是否支持“allow”指令?

rogerbot 支持“allow”指令。

要允许在目录中抓取页面,同时禁止 rogerbot 访问目录的其余部分,您可以在 robots.txt 文件中添加如下内容:

User-agent: rogerbot

Allow: /crawler/roger-bot

Disallow: /crawler/
点赞
收藏
评论区
推荐文章
Souleigh ✨ Souleigh ✨
1年前
Nuxt.js 的优缺点
开发网站应该是一种有趣、自由的体验。根据您正在构建的内容,自由选择您想要使用的任何框架。我们使用“路由”,允许您在单体应用之外运行任意数量的应用程序或页面。将路由视为网站的子路径,例如/docs或/blog。您的单体可能包含您的主
Wesley13 Wesley13
2年前
Java生成sitemap网站地图
sitemap是什么?对应没有接触过网站SEO的同学可能不知道,这里引用一下百度站长的一段解释。Sitemap(即站点地图)就是您网站上各网页的列表。创建并提交Sitemap有助于百度发现并了解您网站上的所有网页。您还可以使用Sitemap提供有关您网站的其他信息,如上次更新日期、Sitemap文件的更新频率等,供百度Spider参考简单来
Stella981 Stella981
2年前
SonarQube 8.4.2.36762 最新版在 Ubuntu 下的安装配置
       SonarQube是一个开源工具,可以进行自动代码审查,可帮助进行代码质量分析和报告。它会扫描您的源代码以查找潜在的错误,漏洞和可维护性问题,然后将结果显示在报告中,该报告将使您能够识别应用程序中的潜在问题。       一、下载最新版本的安装包  一般都直接上官网下载,打开官网链接  https://www.son
Wesley13 Wesley13
2年前
51.La网站统计邀您认知数据可视化
随着互联网的高速发展与互联网经济的高速繁荣,无数的电脑爱好者选择在互联网上创业。最热的莫过于开办一个属于自己的网站。看着自己的网站越来越受追捧,内心的自豪感越加强烈,但是您真的了解自己的网站吗?您知道每天有多少人访问您的网站吗?他们从何而来?有谁正在浏览?他们都浏览了哪些网页?有多少人来自搜索引擎?他们搜的什么词……看到这里,或许您一头雾水,心里在想:我
Stella981 Stella981
2年前
Nginx优化防爬虫 限制http请求方法 CDN网页加速 架构优化 监牢模式 控制并发量以及客户端请求速率
Nginx防爬虫优化Robots协议(也称为爬虫协议,机器人协议等)的全称是“网络爬虫排除标准”(RobotsExclusionProtocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。我理解的是robots.txt是通过代码控制搜索引擎蜘蛛索引的一个手段,以便减轻网站服务器的带宽使用率,从
Stella981 Stella981
2年前
JFinal 万能CMS系统,极速开发,动态生成数据属性
JFinal万能CMS系统,极速开发,动态添加字段,自定义标签,动态创建数据库表并crud数据,数据库备份、还原,动态添加站点(多站点功能),一键生成模板代码,让您轻松打造自己的独立网站,同时也方便二次开发,让您快速搭建个性化独立网站,为您节约更多时间,去陪恋人、家人和朋友。1.技术框架:MVC:JFinal3.6页面:enjoy缓存:e
晴雯 晴雯
11个月前
Web & WebDav Server for mac(Web服务器创建工具)v1.1激活版
是一种在Mac上创建Web服务器的简单方法。单击一下即可在您的Mac上创建Web服务器。软件介绍网络服务器选择带有网站文件的本地文件夹。单击“ON”按钮,您的网站将在您的本地网络上可用。WebDav服务器选择带有文件的本地文件夹。单击“ON”按钮,您的文件
京东云开发者 京东云开发者
6个月前
恶意爬虫防护 | 京东云技术团队
引言如果您仔细分析过任何一个网站的请求日志,您肯定会发现一些可疑的流量,那可能就是爬虫流量。根据Imperva发布的《2023ImpervaBadBotReport》在2022年的所有互联网流量中,47.4%是爬虫流量。与2021年的42.3%相比,增长了
燕青 燕青
4个月前
web网页死链接检查工具:Scrutiny for Mac 支持M1/M2
是一款适用于Mac操作系统的网站链接检查工具,它可以帮助用户识别和解决网站中存在的各种问题,包括链接错误、页面重定向、缺失的图像和资源、死链接等等。Scrutiny可以扫描整个网站,并提供详细的报告,以便用户快速发现并修复问题。该软件还支持对SEO优化进行
小万哥 小万哥
3个月前
选择适合您网站的 SQL 托管:MS SQL Server、Oracle、MySQL
SQL托管如果您希望您的网站能够存储和检索数据,您的Web服务器应该能够访问使用SQL语言的数据库系统。以下是一些常见的SQL托管选项:MSSQLServerMicrosoft的SQLServer是一个流行的数据库软件,适用于具有高流量的数据库驱动网站。它
爬虫程序大魔王
爬虫程序大魔王
Lv1
天地心从数点见,河山春借一枝回。
文章
16
粉丝
1
获赞
0