關于搜尋引擎索引和(hé)網站地圖sitemap的(de)問題

網站地圖 Sitemap 的(de)作用(yòng)是提供輔助信息給搜尋引擎進行索引 (例如個(gè)别 Universal Resource Identifier (URI) 資源的(de)更新頻(pín)率 、最後更新日期等等)。網站地圖的(de)作用(yòng)和(hé)結構是很容易理(lǐ)解，做(zuò)法一般看起來(lái)很簡單。就是将網站進行一次全面的(de)爬行 (例如用(yòng) ScreamingFrog 工具)， 将所有的(de) URI 都放在網站地圖 XML 檔案裏面。但事實并不是那麽簡單，例如你的(de)網站 URI 可(kě)以很多(duō)種類：文章(zhāng)、帖子、産品、作者、圖片、 視頻(pín)、 分(fēn)類、标簽、portfolio 等等。你當然可(kě)以要求全部 URI 都放在網站地圖裏面。但放與不放其實是一個(gè)質量的(de)考慮，例如 portfolio 内是你的(de)一些客戶實例，但内容隻有一張圖片。這(zhè)張圖片基本上以圖像 URI  的(de)形式已經加到索引數據庫中，再索引這(zhè)個(gè) portfolio 的(de)意義不大(dà)，因爲其實是一個(gè) 剪薄内容 thin content, 在這(zhè)種情況下(xià)你應該選擇不索引這(zhè)個(gè) portfolio, 爲什(shén)麽呢(ne)？

何時(shí)選擇不索引

内容淺薄。一般都相信搜尋引擎對(duì)網站是有一個(gè)質量評分(fēn) Quality Score。質量評分(fēn)很可(kě)能是來(lái)自 各個(gè)被索引的(de) URI 的(de)質量計算(suàn)，所以一些質量低單薄的(de)内容可(kě)能會将整體網站的(de)質量評分(fēn)拖低，所以就有盡可(kě)能不索引一些淺薄的(de)内容的(de)說法。淺薄的(de)内容一般無法在搜尋引擎排名中取得(de)高(gāo)位，隻能在訪客進入網站以後透過内部的(de)結連訪問得(de)到，所以不索引淺薄的(de)内容對(duì)吸引自然搜尋流量是沒有負面影(yǐng)響。既然搜尋引擎索引網站的(de)内容是要消耗 crawl budget 爬行預算(suàn)， 所以不索引一些冇排名價值的(de)内容，是善用(yòng)爬行預算(suàn)，增加質量評分(fēn)的(de)手段。

一些專業的(de)建立網站地圖的(de)工具，例如 WordPress 上面的(de) Yoast SEO 插件，就可(kě)以讓你自由設定當建立網站地圖時(shí)，是否要加入不同類型的(de) URI

甚至你可(kě)以在個(gè)别的(de)頁面決定是否索引該頁面，做(zuò)法就是将頁面定義爲 content=”noindex”。

除了(le)質量的(de)考慮，很多(duō)時(shí)候爲了(le)防範黑(hēi)客入侵，不想将太多(duō)的(de)網站結構性資料曝光(guāng)在搜尋用(yòng)戶面前。你可(kě)以透過 robots.txt 提示搜尋引擎不要索引網站内的(de)一些目錄，避免一些敏感資料可(kě)能在不經意的(de)情況下(xià)被搜尋引擎取得(de)到而暴露在黑(hēi)客的(de)面前。 同時(shí)亦可(kě)善用(yòng)爬行預算(suàn)。

另一個(gè)原因不索引是考慮到 cannibalization 關鍵字競食的(de)問題。當兩個(gè)内容非常相近的(de) url 同時(shí)被收錄到索引數據庫是，對(duì)搜尋引擎可(kě)能會造成混亂:究竟當關鍵字搜尋查詢時(shí)該列出 a 頁還(hái)是b 頁呢(ne)？很多(duō)blogger 新手誤解标簽和(hé)分(fēn)類的(de)用(yòng)法，将标簽和(hé)分(fēn)類都标示爲同一個(gè)關鍵字，這(zhè)樣其實也(yě)造成了(le)關鍵字競食的(de)問題。但如果這(zhè)個(gè) B 頁 URL 是沒有排名價值，但在訪客立場(chǎng)是一個(gè)熱(rè)門浏覽的(de)網頁，隻是浏覽是透過内部結連所引發。這(zhè)個(gè)時(shí)候不單純是不索引，更應該将訪問浏覽可(kě)能帶來(lái)的(de)排名優勢歸到 A 頁。這(zhè)亦是 Yoast SEO 插件标準網址 Standard URL 的(de)用(yòng)法。

檢查索引狀态

你如何知道某 URL 是否比索引。你可(kě)以在 Google Search Console (GSC) 的(de)後台輸入 URL 然後 (選 “網址審查”)，查詢是否被索引了(le)。當發現内容不被索引時(shí)你可(kě)以要求 Google 進行單獨索引該 URL 。

你可(kě)以在搜尋頁面輸入一個(gè) site 指令，看看你整個(gè)網站有多(duō)少頁面已經被放在索引 數據庫中。搜尋引擎有時(shí)會爲同一個(gè)url的(de)不同版本保留索引資料，特别是當這(zhè)個(gè)改動隻是在元标題 meta title 和(hé)元描述 meta description 中時(shí)。 保留索引資料的(de)做(zuò)法是對(duì)配對(duì)用(yòng)戶搜尋查詢時(shí)有更多(duō)的(de)選擇。

當你發現索引數據庫中的(de)項目數量比你整個(gè)網站的(de)頁面和(hé)産品的(de)總和(hé)都多(duō)很多(duō)，就可(kě)能表示是由于一些 URL 參數 (例如産品篩選) 所衍生出來(lái)的(de)網址。數量太多(duō)表示爬行預算(suàn)會受到影(yǐng)響，你應該采取行動，例如在 GSC 中将該參數排除。

URL 不被索引的(de)可(kě)能

如果你的(de)網站很大(dà)。索引可(kě)能需要時(shí)間。如果您發現某些 URL 尚未編入索引則是合理(lǐ)的(de)。有幾種情況下(xià) URL 可(kě)能不被索引：

例如當搜尋引擎發現類似的(de)内容已經被加入到索引數據庫裏面。最常見的(de)例子就是産品的(de)描述是一模一樣，例如你将同一件衣服大(dà)中細碼變成三個(gè)不同的(de)産品，搜尋引擎就可(kě)能隻索引其中一件産品，另外兩個(gè)搜尋引擎會看成重複的(de)内容不索引。

技術性問題。例如當你采用(yòng)一些特别的(de)技術如 AMP 網頁技術時(shí)，當搜尋引擎發現一些網頁的(de)内部問題不符合技術規格時(shí)，就可(kě)能決定不索引這(zhè)個(gè)網頁然後回報錯誤，你需要在 GSC 後台查看錯誤，修正問題然後再重新提交  URL。

搜尋引擎索引速度

雖然你可(kě)以在網站地圖之中告訴搜尋引擎 URL 更新頻(pín)率，但這(zhè)并不表示搜尋引擎會根據您提供的(de)信息，更頻(pín)密訪問您的(de)網站 。搜尋引擎決定是否在進行索引是考慮先前 索引你網站時(shí)所發現的(de)優質内容有多(duō)少和(hé)更新有多(duō)少。當越多(duō)優質内容網站更新越頻(pín)密，搜尋引擎自然會更多(duō)訪問你的(de)網站進行索引。索引的(de)速度快(kuài)慢(màn)不是你付錢給 搜尋引擎公司可(kě)以改變的(de)。