優化(huà)SEO抓取預算(suàn)的(de)7個(gè)技巧

發布于：2020-01-08

抓取預算(suàn)是一個(gè)經常被忽略的(de)至關重要的(de)SEO概念。網站SEO必須要記得(de)定期學習(xí)抓取預算(suàn)，不要因爲這(zhè)樣忙而忽略，簡而言之，爬網預算(suàn)可(kě)以而且應該被優化(huà)，在過去的(de)幾年中，将更改作爲概念進行細化(huà)。

什(shén)麽是抓取預算(suàn)呢(ne)

什(shén)麽是抓取預算(suàn)

抓取預算(suàn)隻是搜索引擎的(de)抓取工具（例如，抓取工具和(hé)漫遊器）遍曆你的(de)域頁面的(de)頻(pín)率。

這(zhè)種頻(pín)率的(de)概念是在Googlebot不會過度占用(yòng)你的(de)服務器的(de)嘗試與Google總體上搜尋你的(de)域的(de)總體願望之間的(de)暫時(shí)平衡。

抓取預算(suàn)優化(huà)隻是你可(kě)以專門采取的(de)一系列步驟，以提高(gāo)搜索引擎的(de)漫遊器訪問你網頁的(de)速度。

他(tā)們訪問的(de)次數越多(duō)，進入頁面更新索引的(de)速度就越快(kuài)。因此，你的(de)優化(huà)工作将花費更少的(de)時(shí)間來(lái)把握并開始影(yǐng)響你的(de)排名。

爲什(shén)麽會忽略抓取預算(suàn)優化(huà)？

正如Google明(míng)确解釋的(de)那樣，爬網本身并不是排名因素。因此，僅此一項就足以阻止某些SEO專業人(rén)員(yuán)甚至不必考慮爬網預算(suàn)。

但是，如果你是一個(gè)中等規模的(de)域，那麽你實際上不必對(duì)爬網預算(suàn)太在意。（實際上，如果你确實擁有數百萬個(gè)頁面，則應考慮剪切某些内容，這(zhè)通(tōng)常對(duì)你的(de)域是有益的(de)。）

SEO是一個(gè)非常小的(de)，漸進式更改的(de)過程，需要照(zhào)顧許多(duō)指标。在很大(dà)程度上，我們的(de)工作是确保盡可(kě)能優化(huà)數千個(gè)微小的(de)小事情。

此外，正如Google的(de)John Mueller 指出的(de)那樣，盡管它本身并不是一個(gè)大(dà)的(de)爬網因素，但它對(duì)轉化(huà)和(hé)整個(gè)網站的(de)健康狀況都是有利的(de)。

綜上所述，我認爲重要的(de)是要确保你的(de)網站上沒有任何東西正在損害你的(de)抓取預算(suàn)。

爬行協議(yì)技巧

1.允許在Robots.Txt中爬行你的(de)重要頁面

這(zhè)是不費吹灰之力，自然而然的(de)第一步，也(yě)是最重要的(de)一步，可(kě)以通(tōng)過人(rén)工方式或使用(yòng)網站審核工具來(lái)管理(lǐ)robots.txt，盡可(kě)能使用(yòng)robotstxt工具，使你更加方便和(hé)有效的(de)管理(lǐ)你的(de)網站。

你隻需将robots.txt添加到你選擇的(de)工具中，即可(kě)在幾秒鐘(zhōng)内允許/禁止抓取你域中的(de)任何頁面。然後，你隻需上傳編輯後的(de)文檔，

這(zhè)個(gè)操作不難的(de)，任何人(rén)都可(kě)以手工完成。不過我覺得(de)對(duì)于一個(gè)非常大(dà)的(de)網站，可(kě)能需要經常進行校準，讓工具來(lái)幫助你變得(de)容易得(de)多(duō)。

2.當心重定向鏈

這(zhè)是網站健康的(de)常識性方法，理(lǐ)想情況下(xià)，你将能夠避免在整個(gè)域上甚至隻有一個(gè)重定向鏈。

老實說，對(duì)于大(dà)型網站而言，這(zhè)是一項不可(kě)能完成的(de)任務，301和(hé)302重定向必将出現。

但是，這(zhè)些鏈接在一起的(de)一堆肯定會損害你的(de)爬網限制，以至于搜索引擎的(de)爬網程序可(kě)能會簡單地停止爬網而不會進入需要索引的(de)頁面。

在這(zhè)裏進行一兩個(gè)重定向，可(kě)能不會對(duì)你造成太大(dà)損害，雖然這(zhè)樣，也(yě)值得(de)每個(gè)優化(huà)人(rén)員(yuán)需要注意的(de)事情。

3.盡可(kě)能使用(yòng)HTML

現在，如果我們在談論Google，那麽必須說其爬蟲在抓取JavaScript方面特别好一些，但在抓取Flash和(hé)XML并建立索引方面也(yě)有所改進。

另一方面，其他(tā)搜索引擎還(hái)不存在。因此，我個(gè)人(rén)覺得(de)應盡可(kě)能使用(yòng)HTML，這(zhè)樣你就不會因爲任何爬蟲而損失被檢索的(de)機會。

404

4.不要讓HTTP錯誤占用(yòng)你的(de)檢索預算(suàn)

從技術上講，404和(hé)410頁影(yǐng)響用(yòng)你的(de)抓取預算(suàn)，影(yǐng)響抓取還(hái)不是最慘的(de)，最嚴重的(de)就是會影(yǐng)響你的(de)用(yòng)戶體驗，如果是這(zhè)樣搜索引擎就會認爲你的(de)網站存在用(yòng)戶體驗缺陷，會降低你的(de)網站評價，在抓取、索引、權重上都會受到一定程度的(de)負面影(yǐng)響，最終影(yǐng)響到網站從搜索引擎獲取的(de)流量，這(zhè)就是爲什(shén)麽修複所有4xx和(hé)5xx狀态代碼确實是雙赢的(de)原因。

5.注意URL參數

請始終記住，抓取工具會将單獨的(de)網址視爲單獨的(de)頁面，這(zhè)浪費了(le)寶貴的(de)抓取預算(suàn)。

同樣，讓Google知道這(zhè)些URL參數将是雙赢的(de)局面，既可(kě)以節省抓取預算(suàn)，又可(kě)以避免引起對(duì)重複内容的(de)擔憂。因此，請确保将它們添加到你的(de)Google Search Console帳戶中。

6.更新你的(de)站點地圖

定時(shí)管理(lǐ)你的(de)網站地圖，機器人(rén)将更好在你的(de)網站爬行，更輕松地了(le)解内部鏈接的(de)位置。

僅使用(yòng)适用(yòng)于你的(de)站點地圖的(de)URL。另外，請确保它對(duì)應于robots.txt的(de)最新上傳版本。

7.Hreflang标簽至關重要

爲了(le)分(fēn)析你的(de)本地化(huà)頁面，搜尋器使用(yòng)hreflang标簽。而且，你應該盡可(kě)能清楚地告訴Google有關頁面的(de)本地化(huà)版本。

首先，請使用(yòng)頁面标題中的(de)。其中“ lang_code”是受支持語言的(de)代碼。<link rel="alternate" hreflang="lang_code" href="url_of_page" />

對(duì)于任何給定的(de)URL，都應使用(yòng)<loc>元素。這(zhè)樣，你可(kě)以指向頁面的(de)本地化(huà)版本。

結論

因此，如果你想知道抓取預算(suàn)優化(huà)對(duì)于你的(de)網站是否仍然很重要，答(dá)案顯然是肯定的(de)。