如何拦截Google和Bing访问您的网站？

Google每天至少使用一次Googlebot抓取工具来抓取网页并将其编入索引。通常，抓取基于您在Google Search Console中提交的。但是，与普通内容网站相比，新闻网站的抓取频率可能会发生变化并且速度会更快。同样，Bing也使用Bingbot爬虫来爬取页面。一方面，网站管理员希望Google和Bing立即索引他们的页面，另一方面，在某些情况下，您必须阻止这些爬虫来停止爬取整个网站或您网站上的某些页面。

在本文中，我们将解释如何屏蔽Googlebot和Bingbot，屏蔽爬虫后会发生什么以及出现爬取问题的常见原因。

拦截Googlebot和Bingbot

根据您需要的严重程度，有多种 *** 可以阻止您的网页访问Google和Bing。

1. 使用Robots.txt进行拦截

阻止爬虫的更流行和最常见的 *** 是在中使用指令。例如，插入以下行将拦截Google和Bing访问您网站上的页面。

User-agent: Googlebot
Disallow: /your-page-url
User-agent: Bingbot
Disallow:  /your-page-url

尽管Google和Bing遵循robots.txt文件，但如果被阻止的页面是从另一篇已编入索引的文章链接的，它就不起作用。它可以来自您的网站，也可以来自您无法控制的外部网站。

2. 使用.htaccess来阻止

虽然不常见，但有些人更喜欢来阻止爬虫。这类似于拦截Googlebot和Bingbot的IP地址，从而阻止对上述页面或目录的完全访问。

RewriteEngine On
RewriteCond %{REQUEst_URI} ^/your-page-url
RewriteRule ^(.*)$ - [F,L]

3. 拦截Googlebot和Bingbot IP地址

上述 *** 的问题是您需要具有服务器访问权限才能编辑文件。此外，您在编辑robots.txt和.htaccess文件时也可能会出错。另一种有效的选择是使用阻止Googlebot和Bingbot IP地址。和为爬虫提供更新后的IP地址，您可以将其用于阻止目的。这些IP地址采用 *** ON格式，您需要从中提取IP范围并使用。请记住，这些是用于Googlebot和Bingbot搜索爬虫，而不是用于其他目的，例如AdSense爬虫或Microsoft广告爬虫。

使用主机面板

如果您有服务器访问权限，则可以使用主机面板中提供的IP Blocker工具。例如，HostGator在其cPanel的“SECURITY”部分下提供了一个名为IP Deny Manager的“IP Blocker”应用程序。

HostGator cPanel中的IP拦截器

您可以在所有cPanel托管公司中找到类似的工具，例如Bluehost。单击IP Blocker应用程序并提供Googlebot或Bingbot的IP范围以拦 *** 问。例如，您可以使用以下 *** 之一提供Googlebot IP地址：

• 使用 *** ON文件中给出的CIDR格式，如 66.249.64.0/27。
• 隐含的IP范围，如 66.249.66.0-255
• 通配符范围如 66.249.*.*
• 只需输入googlebot.com，因为大多数Goolgebot用户 *** 都来自此主机名。

在cPanel中拦截Googlebot和Bingbot

通常，拦截一个或几个IP地址就足以拦 *** 问。但是，您可以使用通配符或主机名来阻止整个访问。

使用WordPress插件

否则，如果您使用的是WordPress之类的内容管理系统，那么您有很多可以拦截来自站点管理员面板的机器人和IP地址，而无需访问托管帐户。例如，允许您监控网站的实时流量。您可以根据用户 *** 名称找到Googlebot和 Bingbot IP地址，并在管理面板中单击几下即可阻止。

在SiteGround安全插件中拦截IP

这些是有效的 *** ，尤其是当您想拦截Google和Bing访问您的整个网站时。

您还可以使用，通过插件的蜘蛛拦截功能来对Google和Bing蜘蛛进行拦截，您可以通过IP或者蜘蛛名进行快速拦截。

该插件同时还具备网站搜索引擎蜘蛛爬取数据统计，页面爬取日志查看，蜘蛛访问路径等功能，属于WordPress站长必不可少的SEO辅助插件。

4. 隐藏授权页面

这对于通过设置权限来限制搜索引擎对页面的访问非常有用。例如，银行和会员网站将个性化内容隐藏在登录授权后面，这样搜索引擎就无法访问这些内容。基于内容的机密性，您可能需要应用防火墙、阻止用户配置文件等。强烈建议聘请开发人员并在所需目录级别正确设置限制，以便Google不会抓取禁止部分。

控制爬行速率或爬行频率

如果您发现Googlebot和Bingbot对服务器资源的消耗较高，您可以控制抓取速度或抓取频率。抓取速度是Googlebot或Bingbot每秒发出的从您的网站获取内容的请求数。对于高流量网站，控制爬虫程序的爬取速度对于调整服务器资源至关重要。详细了解。

但是，Google会自动使用优化的抓取速度从您的网站抓取内容。您可以从Google Search Console帐户查看此内容。如果您对当前的抓取频率不满意，请向Google提出特殊要求。新的抓取速度将在接下来的90天内有效，并在该期限后重置为优化设置。详细了解。

拦截Googlebot和Bingbot时会发生什么？

当您阻止页面或站点URL时，您将分别在Google Search Console和Bing网站管理员工具中看到不同类型的错误。以下是您会在Search Console帐户中注意到的一些常见错误：

• 当您使用robots.txt指令时，URL被Robots.txt阻止。
• 带有类似“提交的URL似乎是一个软404”的404错误消息 。
• 部分抓取或页面没有内容错误。

如果管理您网站的人错误地阻止了您网站上的页面，您可以检查“覆盖范围”部分下的Google Search Console错误并修复它们。

但是，在拦截IP或使用.htaccess *** 时，您可能不会发现问题。简单的 *** 是使用Google Search Console中的URL检查工具、Google PageSpeed Insights或移动友好的测试工具来测试是否可以抓取实时页面。当Googlebot被阻止访问该页面时，您将看到错误和呈现的空白页面。

小结

您可以使用上述 *** 之一来拦截Googlebot和Bingbot抓取您的网站。但是，请确保在阻止您网站的特定页面或部分时避免错误。特别是，拦截IP地址是最危险的操作，它会将您的网页从Google搜索中完全删除。您可能需要重新提交页面并等待重新索引，这可能会导致流量下降，从而导致收入下降。因此，如果您不确定如何拦截Googlebot和Bingbot，请与您的托管公司联系。或者，聘请开发人员进行自定义开发工作，例如将机密内容隐藏在授权后面。