首先说答案,这样蜘蛛对中文SEO优化,特别是百度、搜狗等国内搜索引擎优化,没有任何用处,所以如果不是服务海外的外文网站一般直接屏蔽就可以。那怎么屏蔽呢?如下,

User-agent: MJ12bot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: SeznamBot
Disallow: /

那么这些蜘蛛究竟是什么呢?MJ12bot:

MJ12bot

是英国的一家老牌的搜索引擎营销网站Majestic的爬虫,他有专门的中文站,对外链查询等很多SEO数据查询提供数据支撑,做过外链的都知道,获取外链资源是一项基本能力,这个网站可以查询网站的外链资源数,不过很多公司看到日志里有这个MJ12bot蜘蛛,中文是选择直接屏蔽掉(MJ12bot是Majestic-12分布式搜索引擎的爬虫

 

AhrefsBot

是一个 Web 爬虫,为 Ahrefs 在线营销工具集的 12 万亿链接数据库提供支持。它不断抓取网络以使用新链接填充我们的数据库并检查以前找到的数据的状态,以便为我们的用户提供最全面和最新的数据。

来自网络的 Ahrefs Bot 收集的链接数据被全球数千名数字营销人员用于规划,执行和监控他们的在线营销活动。 这些数据对 SEO 社区具有巨大价值,因为它可以帮助营销专业人员更好地理解世界上最大的搜索引擎的基本算法,以便他们可以相应地优化网站。我们的爬虫每隔 24 小时访问超过 60 亿个网页,并每 15-30 分钟更新一次 Ahrefs 的索引。 根据最近一项关于“好机器人”的第三方研究,AhrefsBot 是仅次于 Googlebot 的第二大活跃爬虫。

什么是 AhrefsBot?

如何禁止 AhrefsBot?

AhrefsBot 遵守网络规范,如要禁止 AhrefsBot,最快捷的方法是打开您的 robots.txt,添加如下两行:

user-agent: AhrefsBot

disallow: /

这样,AhrefsBot 就不会再抓取您网站的任何内容了。 其实这个是一个查询外链、推销 SEO 服务的蜘蛛。对国内完全没用。建议有遇到这个蜘蛛的一概屏蔽了。除了浪费流量完全没有任何作用。

 

SemrushBot:

SEMrush的服务器搜索蜘蛛

不过很多公司看到日志里有这个SemrushBot蜘蛛,中文是选择直接屏蔽掉

SEMrush 是一个强大的、全面的在线营销竞争情报平台,其中包括 SEO、PPC、社交媒体和视频广告研究。

Semrush是一家老牌的提供搜索引擎优化数据的公司,建立于2008年,其原理就是semrush的服务器搜刮互联网上所有有价值的网站,对其进行分析归类,然后各个网站的联系,网站在google排名,关键词等等,是一款很好的网站分析工具。类似google,只不过google通过其爬虫把网站索引到他的数据库,semrush的爬虫把获得数据存入他的数据库以供我们查询。semrush拥有非常强大的数据库,它拥有1200000000 关键词 和大约46000000域名,其中包括 AdWords广告和域名SEO的排名,搜索量, CPC, 竞争强度, 搜索结果数等等。

SeznamBot:

捷克的一家搜索引擎,对于国内站长来说,基本上用不上。所以直接选择干掉。

相关说明
① 本站VIP源码资源永久免费下载www.src1024.com
② 本网站资源来源于网络收集,如有侵权,请联系站长进行删除处理。
③ 分享目的仅供大家学习和交流,请不要用于商业用途,否则后果自负。
④ 如果你有源码需要出售,可以联系小编,info@src1024.com。
⑤ 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解。
⑥ 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需。
⑦ 在您的能力范围内,为了大环境的良性发展,请尽可能的选择正版资源。
⑧ 网站资源不做任何二次加密和授权后门(原版加密除外)

1024资源网 » MJ12bot、AhrefsBot、SemrushBot、SeznamBot……是什么搜索蜘蛛爬虫?这些蜘蛛有用吗?怎么屏蔽他们

发表评论