当搜索引擎尝试访问您网站上的页面但失败时,会发生抓取错误。让我们先对探索多一点了解。抓取是搜索引擎尝试通过机器人访问您网站的每个页面的过程。搜索引擎机器人会找到指向您网站的链接,并从那里开始查找您的所有公共页面。该机器人抓取页面并索引所有要在 Google 中使用的内容,并将来自这些页面的所有链接添加到它仍需要抓取的页面堆栈中。作为网站所有者,您的主要目标是确保搜索引擎机器人可以访问网站的所有页面。这个过程的失败会返回我们所说的探索错误。您的目标是确保您网站上的每个链接都指向一个实际页面。这可以通过 301 重定向来完成,但此链接最后的页面应始终返回 200 OK 服务器响应。Google 将抓取错误分为两组:网站错误。您不想要它们,因为它们意味着您的整个网站无法被抓取。网址错误。您也不想要它们,但由于它们只是错误的特定 URL,因此它们更易于管理和修复。让我们详细说明一下。网站错误网站错误都是阻止搜索引擎机器人访问您的网站的抓取错误。这可能有几个原因,这些是最常见的:DNS 错误。这意味着搜索引擎无法与您的服务器通信。例如,它可能已关闭,这意味着您的网站无法访问。这通常是暂时的问题。 Google 稍后会返回您的网站并抓取您的网站。如果您在抓取错误期间在 Google 搜索控制台中看到有关此问题的通知,这可能意味着 Google 已尝试多次但仍无法这样做。,

则意味着该机器人无法访问您的网站 请求可能已过期

搜索引擎 (fi) 试图访问您的网站,但加载时间过长,服务器发送了一条错误消息。当您的代码中存在阻止页面加载的缺陷时 波斯尼亚和黑塞哥维那电话号码 也会发生服务器错误。这也可能意味着您的网站有太多访问者,以至于服务器根本无法处理所有请求。其中许多错误以 5xx 状态代码的形式返回,例如状态代码 500 和 503。机器人的失败。在您抓取之前,(fi) Googlebot 还会尝试抓取您的 robots.txt 文件,只是为了查看您网站中是否有您不想将其编入索引的区域。如果此漫游器无法访问 robots.txt 文件,Google 将推迟抓取,直到它可以访问 robots.txt 文件。因此,请始终确保它可用。这解释了与您的整个网站相关的抓取错误。现在让我们看看特定页面会出现什么样的爬取错误。网址错误如前所述,URL 错误是指当搜索引擎机器人尝试抓取您网站上的特定页面时发生的抓取错误。当我们讨论 URL 错误时,我们倾向于首先讨论诸如(软)404 Not Found 错误之类的抓取错误。您应该经常检查这些类型的错误(使用 Google Search Console 或 Bing 网站管理员工具)并修复它们。如果该页面的页面/主题实际上已经消失,因此您再也不会回到您的网站,请提供 410 页面。如果您在其他页面上有类似的内容,请改用 301 重定向。

确保您的站点地图和内部链接也是最新的 顺便说

我们发现许多这些 URL 错误是由内部链接引起的。这么多错误都是你的错。如果您在某个时候从您的站点中删除了某个页面,请同时调整或删除指向该页面的所有入站链接。这些链接不再有用。如果这个链接保持不变,机器人会找到它并跟随它,只是找到一个死胡同(找不到错误 404)。在您的网站上。您需要不时对内部链接进行一些维护!另一个常见的 URL 错误是标题中带有“提交的 URL”字样的错误。一旦 Google 检测到不一致的行为,这些错误就会出现。一方面,您提交了要编入索引的 URL,因此您告诉 Google,“是的,我希望您将此页面编入索引。”另一方面,还有其他东西对谷歌说,“不,不要索引这个页面。”一种可能的原因可能是您的网页被 robots.txt 文件阻止。或者页面被元标记或 HTTP 标头标记为。如果您不更正不一致的消息,Google 不会将您的网址编入索引。在这些常见错误中,可能是偶尔出现的 DNS 错误或特定 URL 的服务器错误。稍后仔细检查此 URL 并查看错误是否消失。如果它是您的主要监控工具,请确保使用 fetch as Google 并在 Google Search Console 中将错误标记为已修复。非常具体的 URL 错误某些 URL 错误仅适用于某些网站。这就是为什么我想单独列出它们:特定于移动设备的 URL 错误。

Leave a Reply

Your email address will not be published. Required fields are marked *