什(shén)麽是網站的(de)可(kě)追溯性和(hé)可(kě)索引性？

 告訴我，當您考慮對(duì)網站進行排名時(shí)，您首先想到的(de)是什(shén)麽？

内容？或者反向鏈接？

我承認，兩者都是在搜索結果中定位網站的(de)關鍵因素。但他(tā)們不是唯一的(de)。

事實上，另外兩個(gè)因素在seo優化(huà)中起著(zhe)重要作用(yòng) - 可(kě)抓取性和(hé)可(kě)索引性。然而，大(dà)多(duō)數網站所有者從未聽(tīng)說過它們。

與此同時(shí)，即使是可(kě)索引性或可(kě)抓取性的(de)小問題也(yě)可(kě)能導緻您的(de)網站失去排名。無論你有什(shén)麽好的(de)内容或多(duō)少反向鏈接，都是如此。

網絡爬蟲如何掃描您的(de)網站？一種了(le)解搜索引擎機器人(rén)如何工作的(de)新工具，試用(yòng)Log File Analyzer，窗(chuāng)體底端。

什(shén)麽是可(kě)抓取性和(hé)可(kě)索引性？

要理(lǐ)解這(zhè)些術語，我們首先來(lái)看看搜索引擎如何發現和(hé)索引頁面。要了(le)解任何新的(de)（或更新的(de)）頁面，他(tā)們會使用(yòng)所謂的(de)網絡抓取工具，其目的(de)是在網絡上關注鏈接，隻需一個(gè)目标：

查找和(hé)索引新的(de)Web内容。

谷歌(gē)解釋說：

“爬蟲會查看網頁并關注這(zhè)些網頁上的(de)鏈接，就像您浏覽網頁上的(de)内容一樣。他(tā)們從鏈接轉到鏈接，并将有關這(zhè)些網頁的(de)數據帶回Google的(de)服務器。“

簡而言之，這(zhè)兩個(gè)術語都與搜索引擎訪問和(hé)索引網站上的(de)頁面以将其添加到其索引的(de)能力有關。爬行介紹了(le)搜索引擎的(de)訪問和(hé)抓取内容的(de)頁面上的(de)能力，如果站點沒有可(kě)爬網性問題，則Web爬網程序可(kě)以通(tōng)過跟蹤頁面之間的(de)鏈接輕松訪問其所有内容。

但是，斷開的(de)鏈接或死角可(kě)能會導緻可(kě)抓取性問題 - 搜索引擎無法訪問網站上的(de)特定内容。

可(kě)轉位，在另一方面，是指搜索引擎的(de)分(fēn)析和(hé)頁面添加到其索引的(de)能力。

即使Google可(kě)以抓取某個(gè)網站，但它可(kě)能不一定能夠爲其所有網頁編制索引，這(zhè)通(tōng)常是由于可(kě)轉換性問題。

什(shén)麽影(yǐng)響可(kě)抓取性和(hé)可(kě)索引性？

1.網站結構

網站的(de)信息結構在其可(kě)抓取性方面起著(zhe)至關重要的(de)作用(yòng)。

例如，如果您的(de)網站具有未與其他(tā)任何地方鏈接的(de)網頁，則網頁抓取工具可(kě)能難以訪問這(zhè)些網頁。

當然，他(tā)們仍然可(kě)以通(tōng)過外部鏈接找到這(zhè)些頁面，前提是某人(rén)在其内容中引用(yòng)了(le)這(zhè)些頁面。但總的(de)來(lái)說，弱結構可(kě)能會導緻可(kě)爬行性問題。

2.内部鏈接結構

網絡爬蟲通(tōng)過以下(xià)鏈接在網絡上傳播，就像您在任何網站上一樣。因此，它隻能從其他(tā)内容中找到您鏈接到的(de)頁面。

因此，良好的(de)内部鏈接結構将使其能夠快(kuài)速到達您網站結構深處的(de)那些頁面。但是，糟糕的(de)結構可(kě)能會将其發送到死胡同，從而導緻網絡爬蟲錯過了(le)您的(de)某些内容。

3.循環重定向

損壞的(de)頁面重定向會阻止Web爬網程序進入其軌道，從而導緻可(kě)爬網問題。

4.服務器錯誤

同樣，損壞的(de)服務器重定向和(hé)許多(duō)其他(tā)與服務器相關的(de)問題可(kě)能會阻止Web爬網程序訪問您的(de)所有内容。

5.不受支持的(de)腳本和(hé)其他(tā)技術因素

您在網站上使用(yòng)的(de)技術可(kě)能會導緻可(kě)追溯性問題。例如，由于抓取工具無法遵循表單，因此對(duì)表單後面的(de)内容進行選通(tōng)将導緻可(kě)抓取性問題。

各種腳本（如Javascript或Ajax）也(yě)可(kě)能會阻止Web爬網程序中的(de)内容。

6.阻止Web爬網程序訪問

最後，您可(kě)以故意阻止網頁抓取工具對(duì)您網站上的(de)網頁編制索引。

這(zhè)樣做(zuò)有一些很好的(de)理(lǐ)由。

例如，您可(kě)能已創建了(le)要限制公共訪問的(de)頁面。作爲阻止訪問的(de)一部分(fēn)，您還(hái)應該阻止它訪問搜索引擎。

但是，也(yě)很容易錯誤地阻止其他(tā)頁面。例如，代碼中的(de)一個(gè)簡單錯誤可(kě)能會阻止整個(gè)網站部分(fēn)。

您可(kě)以在本文中找到的(de)可(kě)抓取性問題的(de)完整列表 - 您的(de)網站對(duì)抓取者不友好的(de)18個(gè)原因：可(kě)追溯性問題指南(nán)。 

如何使網站更容易抓取和(hé)索引？

我已經列出了(le)一些可(kě)能導緻您的(de)網站遇到可(kě)抓取性或可(kě)索引性問題的(de)因素。因此，作爲第一步，您應該确保它們不會發生。

但是，您還(hái)可(kě)以采取其他(tā)措施來(lái)确保網絡抓取工具可(kě)以輕松訪問和(hé)索引您的(de)網頁,這(zhè)樣也(yě)有利于網站seo優化(huà)。

1.将Sitemap提交給Google

Sitemap是一個(gè)小文件，位于您網域的(de)根文件夾中，其中包含指向您網站上每個(gè)網頁的(de)直接鏈接，并使用(yòng)Google控制台将其提交給搜索引擎。

該站點地圖将告知Google您的(de)内容，并提醒您對(duì)其所做(zuò)的(de)任何更新。

2.加強内部聯系

我們已經討(tǎo)論了(le)相互關聯如何影(yǐng)響可(kě)抓取性。因此，爲了(le)增加Google抓取工具查找您網站上所有内容的(de)機會，請改善網頁之間的(de)鏈接，以确保所有内容都已連接。

3.定期更新和(hé)添加新内容

内容是您網站中最重要的(de)部分(fēn)。它可(kě)以幫助您吸引訪客，向他(tā)們介紹您的(de)業務，并将其轉換爲客戶。

但内容也(yě)可(kě)以幫助您提高(gāo)網站的(de)可(kě)抓取性。例如，網絡抓取工具訪問不斷更新其内容的(de)網站。這(zhè)意味著(zhe)他(tā)們會更快(kuài)地抓取您的(de)網頁并将其編入索引。

4.避免重複任何内容

如果内容重複，則内容相同或非常相似的(de)網頁可(kě)能會導緻排名失敗。

但重複的(de)内容也(yě)會降低抓取工具訪問您網站的(de)頻(pín)率。

因此，檢查并修複網站上的(de)任何重複内容問題。

5.加快(kuài)頁面加載時(shí)間

網頁抓取工具通(tōng)常隻能在有限的(de)時(shí)間内對(duì)網站進行抓取和(hé)索引編制。這(zhè)稱爲爬網預算(suàn)。基本上，一旦時(shí)間到了(le)，他(tā)們就會離開你的(de)網站。

因此，您的(de)頁面加載速度越快(kuài)，爬蟲在耗盡時(shí)間之前就能訪問的(de)越多(duō)。

用(yòng)于管理(lǐ)可(kě)爬網性和(hé)可(kě)索引性的(de)工具

如果上述所有聲音(yīn)都令人(rén)生畏，請不要擔心。有些工具可(kě)以幫助您識别和(hé)修複可(kě)爬網性和(hé)可(kě)索引性問題。

日志文件分(fēn)析器

日志文件分(fēn)析器  将向您顯示桌面和(hé)移動Google機器人(rén)如何抓取您的(de)網站，以及是否有任何錯誤需要修複和(hé)抓取預算(suàn)以進行保存。您所要做(zuò)的(de)就是上傳您網站的(de)access.log文件，讓該工具完成其工作。

訪問日志是人(rén)或機器人(rén)發送到您網站的(de)所有請求的(de)列表; 通(tōng)過分(fēn)析日志文件，您可(kě)以跟蹤和(hé)了(le)解爬網程序的(de)行爲。

分(fēn)析和(hé)管理(lǐ)Googlebots

1.改善您網站的(de)可(kě)抓取性和(hé)可(kě)索引性

2.試用(yòng)Log File Analyzer

3.窗(chuāng)體底端

谷歌(gē)工具

Google Search Console  可(kě)幫助您在Google中監控和(hé)維護您的(de)網站。這(zhè)是一個(gè)提交站點地圖的(de)地方，它顯示了(le)網站抓取工具對(duì)您網站的(de)覆蓋範圍。

Google PageSpeed Insights  可(kě)讓您快(kuài)速查看網站的(de)網頁加載速度。 

大(dà)多(duō)數網站管理(lǐ)員(yuán)都知道，要對(duì)網站進行排名，他(tā)們至少需要強大(dà)且相關的(de)内容和(hé)反向鏈接來(lái)增加其網站的(de)權限。

他(tā)們不知道的(de)是，如果搜索引擎的(de)抓取工具無法抓取并索引其網站，他(tā)們的(de)努力是徒勞的(de)。

這(zhè)就是爲什(shén)麽除了(le)專注于爲相關關鍵字添加和(hé)優化(huà)頁面以及構建鏈接之外，您還(hái)應該持續監控網絡抓取工具是否可(kě)以訪問您的(de)網站并向搜索引擎報告他(tā)們找到的(de)内容。