如何优化WordPress网站的Robots.txt

很多WordPress站长询问如何优化robots.txt文件来提高SEO。

Robots.txt文件用于告诉搜索引擎如何抓取网站，这使得它成为一个强大的SEO工具。

在本教程中，我们将介绍如何基于SEO创建一个完美的robots.txt文件。

robots.txt文件是什么？

Robots.txt是一个文本文件，可以由网站管理员创建，告诉搜索引擎蜘蛛如何抓取网页并对其进行索引。

它通常存储在网站的根目录(也称为个人文件夹)中。robots.txt文件的基本格式如下:

User-agent: [user-agent name] Disallow: [URL string not to be crawled] User-agent: [user-agent name] Allow: [URL string to be crawled] Sitemap: [URL of your XML Sitemap]

您可以使用多行指令来允许或禁止使用特定的URL，并添加多个站点地图。如果不禁止网址，搜索引擎蜘蛛会认为默认支持抓取。

以下是robots.txt文件的示例:

User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Sitemap: https://example.com/sitemap_index.xml

在上面的robots.txt例子中，我们允许搜索引擎抓取并索引WordPress上传文件夹中的文件。

之后我们不允许搜索引擎蜘蛛抓取和索引插件目录和WordPress管理目录。

最后，提供了XML站点地图的URL。

WordPress网站需要Robots.txt文件吗？

如果网站没有robots.txt文件，搜索引擎会抓取你的网站并索引。但是，您将无法告诉搜索引擎哪些页面或文件夹不应该被爬网。

第一次创建博客，内容不多的时候，不会有太大影响。

但随着网站的发展，内容越来越丰富，你不妨更好地控制网站的抓取行为和索引方式。

这就是原因。

搜索引擎蜘蛛对每个网站都有抓取配额。

这意味着它们在爬网会话期间会对一定数量的页面进行爬网。如果他们没有爬完你网站上的所有页面，那么他们会返回并在下一个会话中继续爬。

这可能会降低你网站的索引率。

温馨提示:您可以通过安装搜索引擎蜘蛛分析插件，了解各大搜索引擎蜘蛛是如何抓取您的网站的。

你可以通过禁止搜索引擎抓取不必要的页面(比如WordPress管理页面、插件文件和主题文件夹)来解决这个问题。

通过禁止不必要的页面，您可以节省蜘蛛爬行配额。这有助于搜索引擎在你的网站上抓取更多的页面，并尽快索引它们。

使用robots.txt文件的另一个好理由是当你需要禁止搜索引擎索引你网站上的文章或页面时。

这不是对公众隐藏内容的最安全的方法，但它将帮助您阻止某些内容出现在搜索结果中。

理想的Robots.txt文件是什么？

许多流行的博客使用一个非常简单的robots.txt文件。根据特定站点的需要，它们的内容可能会有所不同:

User-agent: * Disallow: Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml

这个robots.txt文件允许所有搜索引擎蜘蛛索引所有内容，并为它们提供网站的XML站点地图链接。

对于WordPress网站，我们建议在robots.txt文件中使用以下规则:

User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Disallow: /readme.html Disallow: /refer/ Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml

告诉搜索引擎索引所有的WordPress图片和文件。同时，搜索引擎不允许索引WordPress插件文件、WordPress管理区、WordPress自述文件和附属链接。

通过将站点地图添加到robots.txt文件中，您可以使搜索引擎蜘蛛很容易找到您网站上的所有页面。

现在你知道了理想的robots.txt文件是什么样子了，让我们来看看如何在WordPress中创建robots.txt文件。

WordPress网站如何创建Robots.txt？

在WordPress中创建robots.txt文件有两种方法。可以选择最适合自己的方法。

1.使用智能SEO工具编辑Robots.txt文件。

智能SEO工具，自主研发的WordPress SEO插件，简单易用，自带robots.txt文件编辑支持。

如果你还没有安装智能搜索引擎优化工具插件，你需要安装并启用它。

然后可以在WordPress管理后台直接进入插件设置界面，创建和编辑robots.txt文件。

进入“设置智能搜索引擎优化工具”并选择robots.txt选项标签。

首先你需要启用“Robots.txt”，切换到蓝色打开编辑选项。

启用此选项后，您可以创建自定义robots.txt文件。

插件下方会显示默认的robots.txt文件，该版本是插件预设的默认规则(当前插件版本不支持删除默认规则，只允许添加新规则)。

这些默认规则告诉搜索引擎不要抓取你的核心WordPress文件，允许蜘蛛索引所有内容，并向它们提供网站的XML站点地图链接。

现在，您可以添加自己的自定义规则来改进robots.txt以进行SEO。

要添加规则，您可以将其添加到默认规则的新行上，每行一个规则。你可以阅读“了解更多关于Robots.txt以及如何以标准化的方式编写它”

温馨提示:使用插件生成和管理robots.txt时，请确保已经从您的服务器根目录中删除了静态robots.txt。否则插件写的robots.txt无效。

完成后，请不要忘记点击“保存更改”按钮来保存您的更改。

2.使用FTP手动编辑Robots.txt文件。

对于这种方法，您需要使用FTP客户端或pagoda控制面板来编辑robots.txt文件。

只需使用FTP客户端连接到你的WordPress网站托管的服务器账户(或者登录WordPress服务器的pagoda面板)。

进入服务器后，你将能够在网站的根文件夹中找到robots.txt文件。

如果不是，可能没有robots.txt文件。在这种情况下，您需要创建一个。

Robots.txt是一个纯文本文件，这意味着您可以将其下载到您的电脑上，并使用任何纯文本编辑器进行编辑，如记事本或文本编辑。

保存更改后，将其上传回网站的根文件夹。

如何测试Robots.txt文件？

创建robots.txt文件后，最好使用robots.txt测试工具对其进行测试。

有许多robots.txt测试工具，但我们建议您使用Google搜索控制台提供的工具。

首先，你需要用谷歌搜索控制台链接网站。

然后，使用谷歌搜索控制台蜘蛛测试工具。

只需从下拉列表中选择您的网站。

该工具将自动获取您网站的robots.txt文件，并突出显示错误和警告(如果找到的话)。

最后

优化robots.txt文件的目的是防止搜索引擎蜘蛛抓取未发布的页面。例如，你的wp-plugins文件夹中的页面或者WordPress admin文件夹中的页面。

一些SEO专家甚至建议，屏蔽WordPress类别、标签和存档页面会提高抓取率，并导致更快的索引和更高的排名。

这不是真的。这也违反了谷歌站长指南。但是，如果你的存档页和标签页不是很重要，确实可以防止蜘蛛抓取。

我们建议您按照上述robots.txt格式为您的网站创建robots.txt文件。希望这篇教程可以帮助你学习如何基于SEO优化WordPress网站的robots.txt文件。

你可能会对WordPress SEO终极指南和最好的WordPress SEO插件感兴趣，以进一步增强你的网站SEO。