如何禁止搜索引擎索引WordPress网站

你可能注意到了，WordPress的后台有一个设置，写着“建议搜索引擎不要对本网站进行索引”。

或者，您可能正在寻找一种方法来隐藏您的网站，防止不受欢迎的访问者访问，并想知道这个小复选框是否足以保持您的内容安全和机密。

这个选项是什么意思？它到底对你的网站做了什么？为什么要避免依赖它——即使你试图隐藏你的内容？这里是答案和一些其他的方法去索引你的网站和阻止访问一些网页。

建议搜索引擎不索引这个站点是什么意思？

如何检查你的网站是否对搜索引擎开放

如何防止搜索引擎索引WordPress网站

禁止搜索引擎索引网站的其他方法

建议搜索引擎不索引这个站点是什么意思？

你有没有想过搜索引擎如何索引你的网站，衡量你的搜索引擎优化？他们使用称为蜘蛛(也称为机器人或爬虫)的自动化程序来完成这一任务。蜘蛛“爬行”网络，访问网站并记录你的所有内容。

谷歌使用它们来决定如何在搜索结果中排名和放置你的网站，从你的文章中抓取搜索结果页面的介绍，并将你的图片拉进谷歌图片。

当你勾选“建议搜索引擎不要索引这个站点”时，WordPress会修改你的robots.txt文件(这个文件为蜘蛛提供了如何抓取你的站点的指令)。它还可以在你的网站标题中添加一个meta标签，告诉谷歌和其他搜索引擎不要在你的整个网站上搜索任何内容。

这里的关键词是“劝阻”:搜索引擎没有义务满足这一要求，尤其是那些不使用谷歌使用的标准robots.txt语法的搜索引擎(你可以通过闪电博览会提供的蜘蛛爬虫查询工具，查看哪些爬虫遵守或不遵守robots协议)。

网络爬虫仍然可以找到你的站点，但是正确配置的爬虫会读取你的robots.txt并且不索引内容或者在它的搜索结果中显示它就离开。

在过去，WordPress中的这个选项并不阻止谷歌在搜索结果中显示你的网站，只是对其内容进行索引。您仍然可以看到您的网页出现在搜索结果中，并带有错误，如“此网页没有可用信息”或“由于网站的robots.txt，此结果的描述不可用”。

虽然谷歌没有索引页面，但他们也没有完全隐藏页面。这种异常导致人们能够访问他们不应该看到的页面。多亏了WordPress 5.3，它现在可以正常工作，阻止网站的索引和列表。

你可以想象，如果你不小心启用了它，这将如何毁掉你的搜索引擎优化。只有当你真的不想让任何人看到你的内容时，才使用这个选项，这一点很重要——即使如此，这也可能不是你想采取的唯一措施。

为什么你可能不想索引你的网站

网站是给人看的。你希望用户阅读你的文章，购买你的产品，消费你的内容——为什么要刻意屏蔽搜索引擎？有几个原因可以让你隐藏部分或全部网站。

您的网站正在开发中，尚未准备好供公众查看。

你使用WordPress作为一个内容管理系统，但是你想对这些内容保密。

你试图隐藏敏感信息。

你希望只有少数人通过链接或邀请访问你的网站，而不是通过公共搜索页面。

你想把一些内容放在付费区或其他门后，比如时事通讯中的独家文章。

你想切断旧的和过时的文章的流量。

你想防止搜索引擎优化惩罚测试页面或重复内容。

有更好的解决方案——使用一个合适的离线开发服务器，将你的文章设置为私有，或者将它们放在密码后面——但是有合理的理由为什么你可能想要对一些或者所有的站点去索引。

如何检查你的网站是否对搜索引擎开放

虽然你可能有正当的理由去索引你的网站，你可能会震惊地得知你无意中打开了这个设置或无意中打开了它。如果你的流量为零，你怀疑你的网站没有被索引，请确认如下。

一种直接的方法是选中位于管理仪表板主屏幕上的“概述”框。只需登录您的后端并选中该框。如果你看到“自动建议搜索引擎不抓取”，那么你知道你已经激活了这个设置。

WordPress仪表盘中的“概览”。

一个更可靠的方法是检查你的robots.txt你可以在你的浏览器中很容易地验证这一点，甚至不用登录你的网站。要检查robots.txt，您需要做的就是将/robots.txt添加到站点URL的末尾。例如:https://www.wbolt.com/robots.txt

如果您看到Disallow:/，您的整个网站将被禁止索引。

robots.txt中的“不允许”

如果看到Disallow:后跟URL路径，比如Disallow: /wp-admin/，说明任何带有/wp-admin/ path的URL都不允许进行搜索引擎索引。这种结构对于某些页面来说是正常的，但是，例如，如果它阻塞了/blog/

由于WordPress使用meta标签而不是robots.txt对你的网站进行去索引，你也应该检查你的标题是否被修改过。登录你的后台，进入外观>主题编辑器。找到header.php并查找以下代码:

Noindex，header.php的nofollow

您还可以检查functions.php中的noindex标记，因为代码可以通过该文件远程插入到头文件中。如果你在主题文件中找到这段代码，你的网站没有被Google索引。但与其手动删除，不如先尝试关闭原始设置。

如何防止搜索引擎索引WordPress网站

如果你想跳过额外的步骤，直接进入原始设置，下面是如何激活或停用WordPress中的“禁止搜索引擎”选项。

登录你的WordPress仪表盘，导航到设置>阅读。查找标有“对搜索引擎可见”和“建议搜索引擎不对该网站进行索引”的复选框。

搜索引擎可见性复选框

如果你发现这个已经打开，希望你的网站被索引，请取消勾选。如果您打算阻止您的网站被索引，请勾选它(并在某处做个标记，提醒您稍后关闭它！)。

现在点击保存更改，您就可以开始了。可能需要一些时间来重新索引您的网站或将其从搜索结果中删除。

如果你的网站仍然是去索引的，你也可以不索引代码，或者手动编辑robots.txt去掉“不允许”的标志。

所以这很简单，但是有什么理由让你应该避免使用这个选项或者至少不要完全依赖它呢？

使用推荐搜索引擎不索引这个站点的选项的缺点

这看起来很简单-勾选一个框，没有人会看到你的网站。这还不够好吗？为什么应该避免单独使用这个选项？

当你打开这个设置或任何类似的选项时，它所做的只是给你的标题或robots.txt添加一个标签。因为旧版本的WordPress仍然允许你的网站出现在搜索结果中，一个小故障或其他错误可能会导致人们看到你所谓的隐藏页面。

另外，这完全取决于搜索引擎是否接受不抓取你的网站的请求。Google、Bing等各大搜索引擎通常都会，但并不是所有的搜索引擎都使用相同的robots.txt语法，也不是所有爬网的蜘蛛都是搜索引擎发的。

例如，使用网络爬虫的服务是Wayback Machine。如果你的内容被这样的服务编入索引，它将永远存在于网络上。

返程机

你可能会认为，仅仅因为你的全新网站没有链接，就可以免受蜘蛛的攻击，但事实并非如此。在共享服务器上，发送带有网站链接的电子邮件，甚至在浏览器(尤其是Chrome)中访问您的网站，都可能会打开您的网站，直到它被抓取。

如果你想隐藏内容，那么添加参数并不是一个好主意，我希望它能成功。

让我们明确一点，如果你想去索引的内容是敏感的或个人的，你永远不应该依靠robots.txt或meta标签来隐藏它。

但最后但并非最不重要的是，这个选项会完全隐藏你的网站在搜索引擎中，很多时候你只是想去索引一些网页。

那么你应该用什么来代替或配合这个方法呢？

禁止搜索引擎索引的其他方法

虽然WordPress提供的选项通常是有效的，但在某些情况下，使用其他隐藏内容的方法通常会更好。连谷歌自己都说不要用robots.txt隐藏页面。

只要您的网站有域名，并且位于面向公众的服务器上，就不能保证您的内容不会被爬虫看到或编入索引，除非您删除它或将其隐藏在您的密码或登录要求之后。

也就是说，有没有更好的方法来隐藏你的网站或者它的一些页面？

使用。htaccess阻止搜索引擎

虽然它的实现在功能上与简单地使用“阻止搜索引擎”选项是一样的，但是您可能希望手动使用。htaccess阻止索引您的网站。

您需要使用FTP/SFTP程序来访问您的网站并打开。htaccess文件，它通常位于根文件夹(打开站点时看到的第一个文件夹)或public_html中。将以下代码添加到文件中并保存:

Header set X-Robots-Tag “noindex, nofollow”

注意:该方法仅适用于Apache服务器。NGINX服务器，您需要将这段代码添加到。conf文件，可以在/etc/nginx/(你可以在这里找到元标签实现的例子):

add_header X-Robots-Tag “noindex, nofollow”;

密码保护敏感页面

如果你不想让搜索引擎索引某些文章或页面，隐藏它们的最好方法是用密码保护你的网站。这样只有你和你想要的用户才能看到内容。

好在WordPress内置了这个功能，所以不需要安装任何插件。只需转到文章页面，点击想要隐藏的页面。编辑你的页面，在右边寻找可见性菜单。

如果不使用古腾堡，过程也差不多。您可以在“发布”框中找到相同的菜单。将可见性更改为密码保护，输入密码，然后保存-您的内容现在对公众隐藏。

将文章设置为密码保护。

想用密码保护整个网站怎么办？要求每个页面都有密码是不切实际的。

您可以使用内容限制插件(如密码保护)。请安装并激活它，然后前往设置>密码保护，并启用密码保护状态。这给了你更好的控制，甚至允许你把一些IP地址列入白名单。

将文章设置为密码保护。

由WordPress插件实现。

当WordPress的默认功能不够用的时候，一个好的插件通常可以解决你的问题。

例如，如果您想对特定页面而不是整个站点进行索引，那么Yoast可以使用这个选项。

在Yoast SEO中，你可以打开想要隐藏的页面，然后在“高级”选项卡下寻找选项:允许搜索引擎在搜索结果中显示这篇文章？将其更改为“否”,页面将被隐藏。

Yoast SEO设置

你应该注意到，这两种方法都依赖于WordPress的默认选项相同的方法来阻止搜索引擎索引，并且有相同的缺陷。有些搜索引擎可能不符合您的要求。如果你真的想完全隐藏这些内容，你需要使用其他方法。

另一个解决方案是为你的内容付费，或者把它藏在所需的登录名后面。简单会员或终极会员插件可以帮助您设置免费或付费会员内容。

简单成员插件

使用临时场地进行测试

当处理测试项目或正在进行的网站时，隐藏它们的最佳选择是使用临时存储或开发网站。这些网站是私有的，通常托管在本地机器上，只有您和其他人在您的许可下才能访问。

许多Web主机会为您提供易于部署的临时站点，并允许您在它们准备就绪时将它们推送到您的公共服务器。

如果你不能访问一个简单的方法来创建一个临时网站，WP STAGING插件可以帮助你复制安装，并将其移动到一个文件夹中，以便于访问。

使用谷歌搜索控制台暂时隐藏网站。

谷歌搜索控制台是一项服务，允许你要求网站的所有权。随之而来的是能够暂时阻止谷歌索引某些网页。这种方法有几个问题:它是谷歌独有的(所以像Bing这样的网站不会受到影响)，并且只能持续6个月。

然而，如果你想要一个快速简单的方法来临时从谷歌搜索结果中删除你的内容，这是实现它的方法。

如果您还没有，您需要将您的网站添加到谷歌搜索控制台。完成后，打开删除并选择临时删除>新请求。然后单击“删除此URL”并链接您想要隐藏的页面。

这是一种更可靠的阻止内容的方式，但同样，它只适用于谷歌，并且只能持续6个月。

总结

您可能想要隐藏站点上的内容有许多原因，但是依靠“建议搜索引擎不要索引此站点”选项并不是确保此类内容不被看到的最佳方式。

除非你想在网页上隐藏你的整个网站，否则千万不要点击这个选项，因为如果你不小心切换了，会对你的SEO造成很大的损害。

即使你想隐藏你的站点，这个默认选项也是一个不可靠的方法。它应该与密码保护或其他阻止措施配合使用，尤其是在处理敏感内容时。