關于搜尋引擎索引和(hé)網站地圖 sitemap 的(de)問題

網站地圖Sitemap的(de)作用(yòng)是提供輔助資訊給搜尋引擎進行索引 (例如個(gè)别 Universal Resource Identifier (URI) 資源的(de)更新頻(pín)率 、最後更新日期等等)。網站地圖的(de)作用(yòng)和(hé)結構是很容易理(lǐ)解，做(zuò)法一般看起來(lái)很簡單。就是将網站進行一次全面的(de)爬行 (例如用(yòng) ScreamingFrog 工具)， 将所有的(de) URI 都放在網站地圖 XML 檔案裏面。但事實并不是那麽簡單，例如你的(de)網站 URI 可(kě)以很多(duō)種類：文章(zhāng)、帖子、産品、作者、圖片、 視頻(pín)、 分(fēn)類、标簽、portfolio 等等。你當然可(kě)以要求全部 URI 都放在網站地圖裏面。但放與不放其實是一個(gè)質量的(de)考慮，例如 portfolio 内是你的(de)一些客戶實例，但内容隻有一張圖片。這(zhè)張圖片基本上以圖像URI 的(de)形式已經加到索引數據庫中，再索引這(zhè)個(gè)portfolio的(de)意義不大(dà)，因爲其實是一個(gè)剪薄内容thin content, 在這(zhè)種情況下(xià)你應該選擇不索引這(zhè)portfolio, 爲什(shén)麽這(zhè)？

何時(shí)選擇不索引

内容淺薄。一般都相信搜尋引擎對(duì)網站是有一個(gè)質量評分(fēn)Quality Score。質量評分(fēn)很可(kě)能是來(lái)自各個(gè)被索引的(de)URI的(de)質量計算(suàn)，所以一些質量低單薄的(de)内容可(kě)能會将整體網站的(de)質量評分(fēn)拖低，所以就有盡可(kě)能不索引一些淺薄的(de)内容的(de)說法。淺薄的(de)内容一般無法在搜尋引擎排名中取得(de)高(gāo)位，隻能在訪客進入網站以後透過内部的(de)結連訪問得(de)到，所以不索引淺薄的(de)内容對(duì)吸引自然搜尋流量是沒有負面影(yǐng)響。既然搜尋引擎索引網站的(de)内容是要消耗crawl budget 爬行預算(suàn)， 所以不索引一些沒有排名價值的(de)内容，是善用(yòng)爬行預算(suàn)，增加質量評分(fēn)的(de)手段。

一些專業的(de)建立網站地圖的(de)工具，例如WordPress上面的(de)Yoast SEO 插件，就可(kě)以讓你自由設定當建立網站地圖時(shí)，是否要加入不同類型的(de)URI。

甚至你可(kě)以在個(gè)别的(de)頁面決定是否索引該頁面，做(zuò)法就是将頁面定義爲 content=”noindex”。

除了(le)質量的(de)考慮，很多(duō)時(shí)候爲了(le)防範黑(hēi)客入侵，不想将太多(duō)的(de)網站結構性資料曝光(guāng)在搜尋用(yòng)戶面前。你可(kě)以透過robots.txt提示搜尋引擎不要索引網站内的(de)一些目錄，避免一些敏感資料可(kě)能在不經意的(de)情況下(xià)被搜尋引擎取得(de)到而暴露在黑(hēi)客的(de)面前。 同時(shí)亦可(kě)善用(yòng)爬行預算(suàn)。

另一個(gè)原因不索引是考慮到cannibalization 關鍵字競食的(de)問題。當兩個(gè)内容非常相近的(de)url 同時(shí)被收錄到索引資料庫，對(duì)搜尋引擎可(kě)能會造成混亂:究竟當關鍵字搜尋查詢時(shí)該列出a 頁還(hái)是b頁？很多(duō)blogger新手誤解标簽和(hé)分(fēn)類的(de)用(yòng)法，将标簽和(hé)分(fēn)類都标示爲同一個(gè)關鍵字，這(zhè)樣其實也(yě)造成了(le)關鍵字競食的(de)問題。但如果這(zhè)個(gè)B頁URL是沒有排名價值，但在訪客立場(chǎng)是一個(gè)熱(rè)門浏覽的(de)網頁，隻是浏覽是透過内部結連所引發。這(zhè)個(gè)時(shí)候不單純是不索引，更應該将訪問浏覽可(kě)能帶來(lái)的(de)排名優勢歸到A 頁。這(zhè)亦是Yoast SEO插件标準網址 Standard URL的(de)用(yòng)法。

檢查索引狀态

你如何知道某URL是否比索引。你可(kě)以在Google Search Console (GSC) 的(de)後台輸入URL然後 (選 “網址審查”)，查詢是否被索引了(le)。當發現内容不被索引時(shí)你可(kě)以要求Google進行單獨索引該URL 。

你可(kě)以在搜尋頁面輸入一個(gè)site指令，看看你整個(gè)網站有多(duō)少頁面已經被放在索引資料庫中。搜尋引擎有時(shí)會爲同一個(gè)url的(de)不同版本保留索引資料，特别是當這(zhè)個(gè)改動隻是在元标題 meta title和(hé)元描述meta description中時(shí)。 保留索引資料的(de)做(zuò)法是對(duì)配對(duì)用(yòng)戶搜尋查詢時(shí)有更多(duō)的(de)選擇。

當你發現索引資料庫中的(de)項目數量比你整個(gè)網站的(de)頁面和(hé)産品的(de)總和(hé)都多(duō)很多(duō)，就可(kě)能表示是由于一些URL 參數(例如産品篩選) 所衍生出來(lái)的(de)網址。數量太多(duō)表示爬行預算(suàn)會受到影(yǐng)響，你應該采取行動，例如在GSC中将該參數排除。

URL不被索引的(de)可(kě)能

如果你的(de)網站很大(dà)。索引可(kě)能需要時(shí)間。如果您發現某些URL尚還(hái)沒有編入索引則是合理(lǐ)的(de)。有幾種情況下(xià)URL可(kě)能不被索引：

·例如當搜尋引擎發現類似的(de)内容已經被加入到索引資料庫裏面。最常見的(de)例子就是産品的(de)描述是一模一樣，例如你将同一件衣服大(dà)中小碼變成三個(gè)不同的(de)産品，搜尋引擎就可(kě)能隻索引其中一件産品，另外兩個(gè)搜尋引擎會看成重複的(de)内容不索引。

 技術性問題。例如當你采用(yòng)一些特别的(de)技術如 AMP網頁技術時(shí)，當搜尋引擎發現一些網頁的(de)内部問題不符合技術規格時(shí)，就可(kě)能決定不索引這(zhè)個(gè)網頁然後回報錯誤，你需要在GSC 後台查看錯誤，修正問題然後再重新提交 URL。

搜尋引擎索引速度

雖然你可(kě)以在網站地圖之中告訴搜尋引擎URL更新頻(pín)率，但這(zhè)并不表示搜尋引擎會根據您提供的(de)信息，更頻(pín)密訪問您的(de)網站 。搜尋引擎決定是否在進行索引是考慮先前索引你網站時(shí)所發現的(de)優質内容有多(duō)少和(hé)更新有多(duō)少。當越多(duō)優質内容網站更新越頻(pín)密，搜尋引擎自然會更多(duō)訪問你的(de)網站進行索引。索引的(de)速度快(kuài)慢(màn)不是你付錢給搜尋引擎公司可(kě)以改變的(de)。