删除重複内容好方法及6種不良方法

重複的(de)内容是兩個(gè)或多(duō)個(gè)包含相同或非常相似文本的(de)頁面。重複的(de)内容會分(fēn)割鏈接權限，從而削弱頁面對(duì)自然搜索結果進行排名的(de)能力。

假設一個(gè)網站有兩個(gè)相同的(de)頁面，每個(gè)頁面都有10個(gè)外部入站鏈接。該網站本可(kě)以利用(yòng)20個(gè)鏈接的(de)強度來(lái)提高(gāo)單個(gè)頁面的(de)排名。而是，該站點有兩個(gè)包含10個(gè)鏈接的(de)頁面。兩者都不會排名很高(gāo)。

重複的(de)内容還(hái)會損害抓取預算(suàn)，否則會使搜索引擎的(de)索引膨脹。

電子商務網站創建重複的(de)内容。它是平台設置和(hé)技術決策的(de)副産品。以下(xià)是從搜索引擎索引中删除重複内容的(de)兩種好方法  -以及避免的(de)六種方法。

一、删除索引重複内容

要更正編入索引的(de)重複内容，（i）将鏈接權限合并到單個(gè)頁面中，以及（ii）提示搜索引擎從其索引中删除重複的(de)頁面。有兩種好的(de)方法可(kě)以做(zuò)到這(zhè)一點。

（1）301重定向是最好的(de)選擇。301重定向以合并鏈接權限，提示取消索引，還(hái)将用(yòng)戶重定向到新頁面。Google已聲明(míng)，它使用(yòng)301重定向将100％的(de)鏈接權限分(fēn)配給新頁面。但是必應和(hé)其他(tā)搜索引擎的(de)口碑更爲嚴格。無論如何，僅當頁面已被永久删除時(shí)，才使用(yòng)301重定向。

（2）規範标簽。“規範”是一個(gè)被認爲是唯一真理(lǐ)的(de)花哨詞。在搜索引擎優化(huà)中，規範标簽可(kě)識别應爲哪個(gè)頁面建立索引并分(fēn)配鏈接權限。标簽是對(duì)搜索引擎的(de)建議(yì)，而不是諸如301重定向之類的(de)命令。搜索引擎通(tōng)常會使用(yòng)規範标簽來(lái)真正複制内容。

當（i）301重定向不切實際或（ii）重複頁面需要保持可(kě)訪問性時(shí)，例如，如果您有兩個(gè)産品網格頁面，一個(gè)從高(gāo)到低排序，另一個(gè)低-至高(gāo)，您不想将一個(gè)重定向到另一個(gè)。

二、避免的(de)8種方法

根據我的(de)經驗，建議(yì)不要使用(yòng)某些選項（或聲稱要删除）從搜索索引中重複的(de)内容。

（1）302重定向信号。表示臨時(shí)移動而非永久移動。多(duō)年來(lái)，Google一直說302重定向通(tōng)過了(le)100％的(de)鏈接授權。但是，302不會提示取消索引。由于它們執行與301相同的(de)工作量，因此僅當重定向确實是臨時(shí)的(de)并且有朝一日将被删除時(shí)，才應使用(yòng)302重定向。

Google認爲JavaScript重定向是有效的(de)，經過幾天或幾周才能完成渲染。但是沒有理(lǐ)由使用(yòng)JavaScript重定向，除非您缺乏301的(de)服務器訪問權限。

（2）網頁加載速度。在浏覽器加載新頁面之前，購(gòu)物(wù)者可(kě)以在屏幕上看到短暫的(de)提示或幾秒鐘(zhōng)的(de)頁面加載，從而看到元刷新。由于令人(rén)討(tǎo)厭的(de)用(yòng)戶體驗以及Google需要将它們作爲重定向處理(lǐ)的(de)渲染時(shí)間，因此，它們是一個(gè)糟糕的(de)選擇。

（3）404錯誤。顯示請求的(de)文件不在服務器上，提示搜索引擎對(duì)該頁面進行索引删除。但是404也(yě)會删除頁面的(de)關聯鏈接權限。如果可(kě)以，請嘗試301重定向已删除的(de)頁面。

當服務器302将錯誤的(de)URL重定向到看起來(lái)像錯誤頁面的(de)URL時(shí)，就會出現軟404錯誤，然後該錯誤頁面将返回200 OK服務器标頭響應。例如，例如example.com/page/已被删除，應返回404錯誤。相反，它302重定向到看起來(lái)像錯誤頁面的(de)頁面（例如www.example.com/error-page/），但返回200 OK響應。

302響應無意中告訴搜索引擎www.example.com/page/已經消失，但可(kě)能會回來(lái)，因此該頁面應該保持索引。此外，200響應告訴搜索引擎www.example.com/error-page/是用(yòng)于索引的(de)有效頁面。因此，軟404不僅導緻索引了(le)一個(gè)錯誤的(de)URL，而且還(hái)導緻了(le)兩個(gè)錯誤，從而使索引進一步膨脹。

（4）搜索引擎工具。 Google和(hé)Bing提供了(le)删除URL的(de)工具。但是，由于兩者都要求提交的(de)URL返回有效的(de)404錯誤，因此從服務器删除頁面後，這(zhè)些工具是備份步驟。

（5）Meta robots noindex标記  位于HTML文件的(de)開頭。該NOINDEX屬性告訴漫遊器不要對(duì)網頁進行索引。在将頁面編入索引後應用(yòng)時(shí)，它最終可(kě)能導緻取消索引，但這(zhè)可(kě)能要花費幾個(gè)月(yuè)的(de)時(shí)間。不幸的(de)是，鏈接授權因引擎索引頁面的(de)能力而消失。并且由于搜索引擎必須繼續爬網頁面以驗證noindex屬性是否仍然存在，因此該選項不會減少索引的(de)靜态頁面。（請注意，順便說一句，meta robots标記的(de)nofollow屬性對(duì)該頁面的(de)索引沒有影(yǐng)響。）

（6）Robots.txt disallow  不會提示取消索引。被索引的(de)頁面不允許再被搜索引擎機器人(rén)抓取，但是它們可(kě)能會或可(kě)能不會保持索引。除非通(tōng)過URL搜索，否則這(zhè)些頁面不太可(kě)能出現在搜索結果中，因爲搜索引擎将不再抓取該頁面。

雖然他(tā)們不是理(lǐ)想的(de)去除索引内容，荟萃機器人(rén)NOINDEX和(hé)的(de)robots.txt 不允許既要防止被索引新的(de)重複内容。但是，其應用(yòng)要求在啓動新站點之前識别重複的(de)内容，并且它們并不是100％有效的(de)。

如果您需要确定的(de)取消索引方法，最好的(de)選擇是301重定向或404錯誤，因爲服務器不再加載該頁面上找到的(de)内容。如果您需要爲頁面取消索引并利用(yòng)鏈接權限，請使用(yòng)301重定向。