谷歌百度快速收录网站的11个技巧

如果百度或者谷歌没有收录你的网站，那么该网站自然不会出现在搜索结果中，无法获得搜索引擎的自然流量。百度收录的相关问题也是站长们的共同话题。

今天给大家分享一下如何让百度快速收录网站的11个小技巧(不仅针对百度，也适用于所有搜索引擎)。本文将教你如何解决以下三个问题:

您的整个网站没有被索引；

有些页面有索引，有些没有；

新发布的页面上没有实时索引。

但是首先，请确保我们是一致的，并且完全理解索引的含义。

什么是爬行和索引？

百度和谷歌都是通过抓取来发现新的网页，然后添加到索引中。他们使用名为Googlebot和Baiduspider的网络爬虫来完成这项工作(如果你的WordPress网站安装了Spider Analyser，你会发现许多类型的爬虫)。

迷茫？我们来解释一些名词:

爬行:跟踪网页上的超链接以发现新内容的过程。

索引:在一个巨大的数据库中存储网页的过程。

网络爬虫:一个执行爬行的程序。

Googlebot:谷歌的网络爬虫。

百度:百度的网络爬虫。

当你在百度或谷歌搜索内容时，你实际上是在要求百度或谷歌返回其索引中的所有相关页面。因为通常会有成千上万个符合要求的网页，百度或者谷歌的排名算法会尽力对网页进行排序，让你先看到最好最相关的结果。

我想在这里指出的一个要点是，索引和排名是两回事。

指数是为了参与，排名是为了赢。

不参与就赢不了。

如何检查你的页面是否有索引

输入百度或谷歌搜索引擎，然后做如下搜索:yourdomain.com。

这里的数字显示的是百度或者谷歌大致的索引页面数量。
这里的数字显示的是百度或谷歌的大概索引页数。

如果想检查某个特定页面是否被索引，也可以这样做:站点:详细URL(此方法只适用于Google，百度直接搜索URL地址)，或者使用搜索推送收录插件进行收录查询功能(仅支持百度收录查询)。

如果没有结果，则不索引该页面。

如果你是谷歌搜索控制台的用户，你只需要查看覆盖率报告就可以找到准确的索引数据。您只需输入:

谷歌搜索控制台>索引>覆盖范围

检查有效页数(包括警告页)。

如果这两个数字之和不为零，那么谷歌至少会索引你网站上的一些页面。如果没有，那么您可能会遇到严重的问题，因为您的网页都没有被索引。

如果想查询网站在百度搜索的整体收录情况，也可以通过百度搜索资源平台查询。

百度搜索资源平台>搜索服务>索引数量

提示。不是谷歌搜索控制台用户，也不是百度搜索资源平台？免费注册一个。每一个关心从Google或者百度获取流量的站长，都应该使用Google搜索控制台或者百度搜索资源平台，这一点很重要。另外，百度指数量也可以通过百度统计查看:百度统计>优化分析>百度指数量。

除了上面的site命令方法，还可以使用Google搜索控制台来检测特定页面是否被Google索引。你只需要把页面URL放入URL检测工具。

如果页面被索引，将显示“网址在谷歌上”。

如果页面没有被索引，这里会显示“URL不在Google上”。

如何让Google或者百度收录网站页面？

你的网站或者页面是不是没有被Google或者百度收录？

如果是谷歌搜索引擎，你可以试着用下面的:

进入谷歌搜索控制台。

进入URL检测工具。

将要索引的URL粘贴到搜索框中。

等待谷歌检测网址。

单击“请求索引”按钮。

如果是百度搜索引擎，可以试试:

进入百度搜索资源平台。

输入链接提交或一般包含-资源提交-手动提交。

将需要百度收录的网址粘贴到指定位置，然后确认提交。

等待百度蜘蛛抓取收藏。

当你发布一个新的帖子或页面时，你最好这样做。你实际上是在告诉谷歌，你给网站增加了一些新内容，他们应该检查一下。

但是，请求被索引不太可能解决旧页面的索引问题，这只是最原始的方式。提交链接并不能保证你的网址会被索引，尤其是百度。

如果你想彻底解决网站搜索引擎收录问题，请按照下面的列表来诊断和解决问题。

以下是一些解决方案的快速访问链接，其中一些您可能已经尝试过:

清除Robots.txt中的抢夺障碍

移除不必要的noindex标签。

在站点地图中包含要索引的页面。

移除不必要的规范标签。

检查该页面是否为孤岛页面。

修复不必要的内部非跟随链接

向“电源”页面添加内部链接。

确保网页是独一无二的，有价值的

或者去掉优化后的低质量页面(优化“抢预算”)

建立高质量的外链

使用所有可用的推送方法。

1)移除Robots.txt中的抓取障碍

还是谷歌百度不索引整个网站？这可能是robots.txt文件被钩住造成的。

去yourdomain.com/robots.txt查看详细问题。

检查右下角的两个代码是否是:

(1)这样的规则会告诉Google不要索引你的网站；

User-agent: GooglebotDisallow: /

(2)这样的规则会告诉百度不要索引你的网站；

User-agent: BaiduspiderDisallow: /

(3)这样的规则会告诉所有搜索引擎不要索引你的网站；

User-agent: *Disallow: /

以上三条规则不允许搜索引擎蜘蛛抓取网站的任何页面。要解决这个问题，你只需要删除它们，就这么简单。

如果百度或谷歌只是没有对单个网页进行索引，也可能是robots.txt中的一个代码导致的

检测单个URL是否因为robots.txt而没有被Google搜索引擎索引:

将URL粘贴到Google搜索控制台的URL检测工具中。单击coverage部分以显示更多详细信息，然后查找“您允许爬行吗？”否:被robots.txt阻止”错误。

这意味着该页面被robots.txt阻止

检测单个网址是否因为robots.txt而没有被百度索引:

进入与网站关联的百度搜索资源平台，找到robots菜单，选择对应的网站名称，点击检测更新，验证后输入要验证的URL地址，点击验证。(但是，效果不好，从来都不行。此功能)

如果是这种情况，请重新检查robots.txt文件中与此页面或相关目录相关的“禁止”规则。

如有必要，只需删除此代码。

2)删除不必要的noindex标签

如果你告诉谷歌不要索引一个网页，谷歌不会索引它。这可以保持某些页面的私密性。有两种方法可以做到这一点:
方法一:Meta标签
不会被Google或百度索引如果页面中出现以下任何代码:

这是一个爬虫的meta标签，它告诉搜索引擎他们是否能索引页面。

提示。核心参数是“noindex”。如果出现“noindex ”,则意味着该页面被设置为未编制索引。

如果想在互联网上找到所有带有noindex meta标签的页面，只需要使用Ahrefs的网站诊断工具做一个测试就可以了。然后进入指数化报告。寻找“Noindex page”提示。

单击以查看所有被阻止的页面。删除需要索引的页面的noindex meta标签。
方法二:x robots-tag
网络爬虫跟随x robots-tag的HTTP响应头。可以使用服务器端脚本语言(比如PHP)，内容。htaccess文件或更改服务器配置来达到这种效果。

Google搜索控制台中的URL检查工具可以告诉你这个标题是否阻止Google抓取页面。只需输入网址，寻找“允许索引？否:在“X-Robots-Tag”http头中检测到“noindex”标记。

如果你想检测整个站点是否存在这样的问题，那么可以使用Ahrefs的网站诊断工具，并且在Page Explorer （页面分析）筛选框中选择“Robots information in HTTP header（检查HTTP表头的Robots信息）”进行查看：
如果你想检测整个网站是否存在这样的问题，可以使用Ahrefs的网站诊断工具，在页面浏览器过滤框中选择“HTTP头中的Robots信息”进行检查:

同时告诉网站开发者修改要被索引的页面的页眉。

推荐:使用X-Robots-Tag HTTP header进行特定的SEO:提示和技巧

3)在网站地图中包含要索引的页面。

该网站将告诉搜索引擎，如谷歌或百度，哪些网页是重要的，哪些是不重要的。同时也可以为搜索引擎的抓取频率提供一些指导。

一般来说，搜索引擎应该能够在你的网站上找到网页，无论它们是否在站点地图中，但是将它们包含在站点地图中仍然是一个好的做法。毕竟百度或者谷歌没必要做无意义的抓取。

要检查网页是否在您的站点地图中，请使用Google搜索控制台中的URL检查工具。如果您看到“URL不在Google上”和“站点地图:不适用”，这意味着该URL不在您的站点地图中，或者没有被编入索引。

没有谷歌搜索控制台？去你的网站地图，通常是这个地址:yourdomain.com/sitemap.xml,，然后搜索这个网页的网址。

或者，如果您想找到所有不在站点地图中但需要索引的页面，您只需使用Ahrefs网站诊断工具。进入页面浏览器，按如下方式过滤:

这些页面应该在你的站点地图中，所以添加它们。添加完之后，告诉Google你已经通过下面的Ping方法更新了这个网站地图。

http://www.google.com/ping?网站地图= http://your website . com/sitemap _ URL . XML

将后面的提示更改为您的站点地图地址，您应该会收到以下消息:

这将允许谷歌加快索引你的网页。

关于生成WordPress网站地图

有很多WordPress特有的SEO优化插件支持站点地图的生成，比如All in One SEO，Yoast SEO，Google XML Sitemaps或者我们的Smart SEO工具。

智能SEO工具插件支持标准XML网站地图的生成，可以通知Google和Bing搜索引擎网站地图更新；并且生成的地图文件满足某些搜索引擎单个文件不超过5万个URL地址的要求。

注意:提交网站地图时，请务必遵循“非索引网站地图地址提交”。

4)删除不必要的规范标签。

Canonical标签将告诉搜索引擎哪个是页面的首选版本。看起来是这样的:

大多数页面没有规范标签，即所谓的自引用规范标签。这告诉搜索引擎，如谷歌或百度，页面本身是首选版本，可能是唯一的版本。换句话说，您希望对页面进行索引。

然而，如果你的页面有非标准的规范标签，你可能会告诉搜索引擎，如百度或谷歌错误的首选版本。在这种情况下，您的页面将不会被索引。

要检测规范标签，只需要使用Google的URL检测工具(百度好像没有类似的工具，也不遵循这个规则)。如果您的页面的规范标签指向另一个页面组，您可以看到提示“使用规范标签替换页面”。

如果这不应该出现，并且您希望当前页面被索引，那么只需删除该页面的规范标签。

值得注意的是，规范标签并不总是不好的。大多数带有这些标签的页面都有其原因。如果你看到你的页面有规范的标签，请检查相应的页面。如果它是该页面的首选版本，并且不需要索引该页面，则应该保留规范标记。

如果您想在整个网站上快速找到有问题的规范标签，您可以使用Ahrefs网站诊断工具来检测它，进入页面浏览器(页面分析)并使用以下设置:

这将在站点地图中查找带有非自引用规范标签的页面。几乎可以肯定的是，您想要索引站点地图中的页面，所以如果这个过滤器返回任何结果，您需要进行进一步的调查。

这些页面可能有错误的规范标签，或者它们本来就不应该出现在你的站点地图中。

5)检查页面是否为孤岛页面。

孤立页面是指那些没有内部链接支持的页面。

因为谷歌是通过抓取链接来发现新内容的，所以他们无法通过这个过程找到孤岛页面。网站的访问者也将无法找到这些内容。

要检测孤立页面，请尝试使用Ahrefs网站诊断工具。然后点击链接报告，并检查“岛页(没有任何链接)”错误:

这将显示可以被索引并显示在站点地图中的所有页面，但是没有内部链接。

这很重要。只有在以下两种情况下才能正常检测结果:

所有需要被索引的页面都在你的站点地图中。

在Ahrefs的站点审计开始时，您将选择检查站点地图中的页面选项。

您确定所有要索引的网页都在站点地图中吗？试试这个:

下载你网站上的所有页面(可以通过你的CMS实现)

抓取你的整个网站(使用类似Ahrefs网站诊断工具)

比较两组网址。

爬行过程中没有找到的任何URL都属于岛页面。

您可以通过以下两种方法之一来解决孤岛问题:

如果页面不重要，那么删除它，并将其移出站点地图。

如果页面很重要，就把它放在你的内部链结构中。

6)修复不必要的内部nofollow链接。

Nofollow链接是指那些标有rel=”nofollow “的链接。他们组织页面权重的转移。同时，百度或谷歌也不会抓取Nofollow链接。

以下是谷歌对此的说明:

本质上，使用nofollow将导致我们从爬网目录中删除目标链接。但是，如果其他网站在没有使用nofollow的情况下链接到目标页面，或者这些URL在sitemap中提交给Google，那么目标页面可能仍然会出现在我们的索引中。

简而言之，您需要确保到索引页面的链接处于follow状态。

为此，请使用Ahrefs的网站诊断工具来抓取网站。检查链接报告中的错误“页面没有，仅跟踪内部传入链接”:

假设您希望Google对页面进行索引，请从这些链接中删除nofollow标签。如果没有，请删除该页面或使用noindex对其进行处理。

推荐阅读:Nofollow链接详细解释和注意事项。

7)在“电源”页面中添加内部链接

谷歌通过抓取你的网站来发现新的内容。如果忽略相关页面的内部链接，它可能找不到此页面。

解决这个问题的一个简单方法是在网站上添加一些内部链接。您可以在任何被索引的网页上这样做。但是，如果你希望谷歌尽可能快地索引页面，你可以在一些“强大”的页面上建立一些内部链接。

为什么？因为谷歌抓取这类页面的速度会比一些不太重要的页面快。

为此，请访问Ahrefs web analytics，输入您的域名，然后查看最佳链接报告。

这将显示网站上的所有页面，按URL评级排序。换句话说，它首先显示权重最高的页面。

检查列表并查找相关页面，您可以在其中添加一些指向目标页面的内部链接。

比如我们要做一个“网站速度测试性能的简单教程”这篇文章的内部链接，那么“如何实现WordPress图片和视频的懒加载”这个页面就可以提供一个相关的内部链接。

然后下次Google或者百度再抓取页面的时候就会看到并抓取链接。

专家建议，在你添加内部链接后，将页面粘贴到谷歌的URL检查工具中。点击“请求索引”按钮，让Google知道页面上的某些内容已经更改，需要尽快重新抓取。这可以加快谷歌寻找内部链接的过程，从而找到你想要索引的页面。对于百度搜索引擎，也可以使用百度搜索资源平台的URL提交功能。不过，后面我们会具体详细解释URL提交。

8)确保页面是独一无二的，有价值的

谷歌不太可能索引低质量的网页，因为它们对用户没有价值。以下是谷歌的约翰·穆勒对2018年索引的看法:

我们从不索引所有已知的网址，这很正常。我会专注于使网站变得令人敬畏和鼓舞人心，然后事情通常会变得更好。

(我们从不索引内容重复的网址，这很正常。我会关注那些有独特和有价值内容的网站，否则搜索会变得很无聊。)

—@ JohnMu 2018年1月3日

无论是谷歌还是百度，或者其他搜索引擎，如果你想让一个网站或网页被索引，它必须是“有价值、有意义的”。

如果你的页面已经排除了技术问题，但仍然没有被索引，可能是页面的价值不足。所以，你需要重新审视页面，问问自己:这个页面真的有价值吗？如果用户从搜索结果中点击这个页面，会在这个页面上找到有用的内容吗？

如果以上两个问题的答案都是否定的，那么你需要改进你的内容。

你可以通过Ahrefs网站诊断工具、SEO工具和URL Profiler工具找到那些低质量的页面。在Ahrefs的站点审计中进入页面浏览器部分，并进行以下设置:

这样可以反馈那些内容单薄的页面。目前这些页面没有自然流量。换句话说，它们很有可能没有被编入索引。

导出报告后，将所有链接的站点跳转到URL Profiler工具中，并进行Google索引检查。

不得不说，代码迷SEO的内容质量报告也是一个非常好的工具。这个工具可以从内容质量的不同维度对URL页面进行评分，并根据你给定的关键词和URL地址给出详细的修改建议。包括TDK信息修改，相关词密度建议等。：

重要说明:如果您希望对许多页面(即超过100个页面)执行此操作，建议使用代理。否则将面临被谷歌禁止使用IP的风险。如果你不能做到这一点，那么另一个选择是在谷歌上搜索“免费批量谷歌索引检查”。有些这样的工具是存在的，但是大多数工具一次只能显示25页。

检查所有未编制索引的页面是否有质量问题。进行必要的改进，然后请求在谷歌搜索控制台重新请求索引。

同时，你也要注意内容重复的问题。或者Google百度不会对重复或者几乎重复的页面感兴趣，被索引的概率极低(当然这也取决于你网站的域名评级。如果域权限高，这个规则就不一定了)。使用站点审计中的重复内容报告来检查这些问题。

9)删除或优化低质量页面(优化“抓取预算”)

网站劣质页面太多会浪费谷歌的抓取预算。

以下是谷歌对此的说明:

将服务器资源浪费在低价值的页面上会降低抓取有价值内容的频率，这可能会导致发现网站大量新内容的延迟。

就当是导师给论文打分吧，其中一篇是你的。如果他们要复习10篇论文，那么他们很快就会看到你的。如果他们必须复习一百个，那就要花更长的时间。如果有几千个，那么他们的工作量就太高了，他们可能永远无法给你的内容评分。

谷歌确实指出:抓取预算[…]不是大多数站长需要担心的事情，而且“如果网站的页面少于几千个”，也是可以有效抓取的。

然而，从你的网站中删除低质量的页面绝不是一件坏事。只会产生积极的影响。

您可以使用Ahrefs的内容检测模板来检测那些有问题、不相关且可以删除的页面。

但更重要的是，与删除页面相比，边肖建议用内容重构来优化低质量的内容。内容重构请参考《炒冷饭也是做好SEO的手段》一文。毕竟大量删除文章可能会导致大量404错误网址，这本身就是对SEO优化的严重打击。

10)建立高质量的外链。

外链告诉搜索引擎这个页面很重要。毕竟，如果有人链接到它，它必须有一些价值。这些是百度或谷歌等搜索引擎想要索引的页面。

或者百度Google不会只索引有外部链接的网页。许多(数以亿计)没有外部链接的页面也被编入索引。但是因为搜索引擎认为有高质量链接的页面更重要，所以可能会比没有高质量链接的页面抓取和重新抓取的速度更快。这将使索引边缘更快。

关于如何获取高质量的外链，推荐阅读《SEO中外链建设的重要性及策略》。

1)使用所有可用的推送方法。

虽然是百度，谷歌或者其他搜索引擎，他们会用蜘蛛抓取互联网上各种网站的页面信息(前提是你不拦截蜘蛛)。但再强大的蜘蛛群，对于庞大的互联网数据，也无法实时照顾到所有网站。

那么，站长如何通知搜索引擎网站的最新更新呢？

之前的手动提交URL，Sitemap提交和通知，内链和外链布局都在其中。那么，站长不要忽视百度提供的提交数据的API接口。

目前百度搜索引擎提供的推送方式有:

快速索引推送(需要配额权限)；

常用收藏的自动推送和主动推送；

小程序的日级和周级推送。

此外，Bing搜索引擎还提供API提交通道。虽然必应在搜索引擎中的市场份额少得可怜，但占比之小，互联网用户基数之大，是相当可观的。只要能喝上一杯，甚至一勺，那就很好了。

关于百度或者必应的API推送，可以考虑使用搜索推送收录插件。

指数≠排名

在Google或者百度上被索引收录，并不代表就能获得排名或者流量。

这是两码事。

索引是指搜索引擎看过你的网站，但不代表你的内容值得被搜索引擎针对特定关键词进行排序。

这就是SEO需要做的——优化网页的艺术，为特定的关键词排名。

简单地说，SEO包括:

找出你的用户在搜索什么；

围绕主题创建内容；

针对目标关键字进行优化；

外链建设；

更新页面内容，保持“新鲜”。

…以及一些文章:

阅读延伸

WordPress网站SEO优化实用基础指南

JavaScript和SEO的关系

如何提高网站域名权威性(搜索引擎网站评级)

什么样的博文内容长度最有利于SEO优化？

如何搜索、布局和优化页面关键词

最后

搜索引擎不索引你的网站或页面只有两个原因:

技术问题阻止它被索引；

它认为你的内容毫无价值，不值得被索引。

这两个问题大概是同时存在的。但是，我想说，技术问题要常见得多。技术问题也可能导致低质量内容的自动生成(例如，分页问题)。

但是，索引问题可以通过上面的清单得到很大程度的解决。

记住指数≠排名就行了。如果你想对任何有价值的关键词进行排名，吸引源源不断的自然流量，那么SEO是至关重要的。

那么，SEO优化无非就是那些重点:“全面提升WordPress博客SEO的13种方法”。关键点还是看站长能不能遵守这些规则，长期留在站点上。

简而言之，优质内容——网站优化——链接建设——搜索引擎推送，反复练习，一一对应。相信总会有惊喜！

(via ahrefs.com译者朴成，文章有改动)