如何使用 Chrome 瀏覽網站作為 Googlebot
作者的觀點完全是他或她自己的(不包括催眠的不太可能發生的事件)，可能並不總是反映 Moz 的觀點。
Googlebot 欺騙簡介
在本文中，我將描述如何以及為什麼使用 Google Chrome(或 Chrome Canary)將網站作為 Googlebot 來查看。
我們將設置一個專門用於 Googlebot 瀏覽的網絡瀏覽器。 使用用戶代理瀏覽器擴展通常足以進行 SEO 審核，但需要額外的步驟才能盡可能接近模擬 Googlebot。
Skip to “如何設置您的 Googlebot 瀏覽器”。
我為什麼要將網站視為 Googlebot？
多年來，我們的技術 SEO 在審核網站時很容易，因為 HTML 和 CSS 是網頁設計的基石語言。 JavaScript 通常用於裝飾(例如網頁上的小動畫)。
然而，越來越多的整個網站都使用 JavaScript 構建。
最初，Web 服務器將完整的網站(完全呈現的 HTML)發送到 Web 瀏覽器。 如今，許多網站都是在客戶端(在網絡瀏覽器本身中)呈現的——無論是 Chrome、Safari 還是搜索機器人使用的任何瀏覽器——這意味著用戶的瀏覽器和設備必須完成呈現網頁的工作。
SEO 方面，一些搜索機器人不呈現 JavaScript，因此不會看到使用它構建的網頁。 尤其是與 HTML 和 CSS 相比，JavaScript 的渲染成本非常高。 它使用更多設備的處理能力——浪費設備的電池壽命——以及更多的谷歌、必應或任何搜索引擎的服務器資源。
甚至 Googlebot在呈現 JavaScript 時遇到困難，並且 JavaScript 的呈現延遲超出了最初的 URL 發現——有時會持續數天或數週，具體取決於網站。 當我在 Google Search Console 的覆蓋範圍(或頁面)部分看到多個 URL 的“已發現 – 當前未編入索引”時，該網站通常是 JavaScript 渲染的。
試圖繞過潛在的 SEO 問題，一些網站使用動態渲染，因此每個頁面有兩個版本：
-
為使用該網站的人提供的客戶端渲染.
-
主導航不一樣嗎？
-
Googlebot 是否看到了您想要編入索引的內容？
-
如果一個網站依賴於 JavaScript 渲染，新內容是否會被及時編入索引，或者太晚以減少其影響(例如，對於即將發生的事件或新產品列表)？
-
URL 是否返回不同的服務器響應？ 例如，對於 Googlebot，錯誤的 URL 可能會返回 200 OK，但對於一般網站訪問者，可能會返回 404 Not Found。
-
網站是否根據位置重定向？ Googlebot 主要從美國的 IP 抓取。
-
如果 Chrome 不是
您的默認瀏覽器，將其用作您的 Googlebot 瀏覽器。
如果 Chrome 是你的默認瀏覽器，下載並安裝Chrome Canary。 Canary 是 Chrome 的一個開發版本，谷歌測試新功能，它可以與 Chrome 的默認版本分開安裝和運行。
以黃色金絲雀命名檢測礦山中的有毒氣體，帶有黃色圖標的 Canary 很容易在 Windows 任務欄中發現：
由於 Canary 是 Chrome 的開發版本，Google 警告說 Canary “可能不穩定”。 但我將它用作我的 Googlebot 瀏覽器時還沒有遇到問題。
第 2 步：安裝瀏覽器擴展程序
我在我的 Googlebot 瀏覽器上安裝了五個瀏覽器擴展程序和一個書籤。 我將列出擴展程序，然後建議設置以及我使用它們的原因。
用於模擬 Googlebot(無論您使用 Chrome 還是 Canary，鏈接都是相同的) :
-
用戶代理切換器
-
Web開發人員
-
Windscribe(或您選擇的 VPN 來模擬 Googlebot 的位置)
不需要模擬 Googlebot，但我對 JavaScript 網站的技術 SEO 審計的其他最愛：
鏈接重定向跟踪
查看渲染源
NoJS 並排小書籤
-
機器人的服務器端渲染(例如 Googlebot 和 bingbot)。
一般來說，我發現這種設置使網站過於復雜，並且比服務器端渲染或傳統的 HTML 網站產生更多的技術 SEO 問題。 這裡有一個小小的咆哮：有例外，但一般來說，我認為客戶端呈現的網站是一個壞主意。 網站應設計為在設備的最低公分母上運行，使用可以處理額外內容的設備，使用漸進增強(通過 JavaScript)來改善人們的體驗。 這是我將進一步調查的事情，但我的軼事證據表明，對於依賴屏幕閱讀器等可訪問性設備的人來說，客戶端呈現的網站通常更難使用。 在某些情況下，技術 SEO 和可用性交叉。
技術 SEO 是為了讓搜索引擎盡可能容易地抓取、呈現和索引網站(對於最相關的關鍵字和主題)。 不管喜歡還是不喜歡，技術 SEO 的未來，至少目前，包括大量的 JavaScript 以及為機器人和用戶提供不同的網頁渲染。
查看網站因為 Googlebot 意味著我們可以看到一個人看到的內容和搜索機器人看到的內容之間的差異。 Googlebot 看到的不需要與使用瀏覽器的人看到的相同，但主導航和您希望頁面排名的內容應該相同。
這就是本文的用武之地。為了進行適當的技術 SEO 審核，我們需要查看最常見的搜索引擎看到的內容。 至少在大多數說英語的國家，那是谷歌。
為什麼使用 Chrome(或 Chrome Canary)將網站視為Googlebot？
我們能準確地看到 Googlebot 看到的內容嗎？
沒有.
Googlebot 本身使用 Chrome 瀏覽器的(無頭)版本來呈現網頁。 即使使用本文建議的設置，我們也永遠無法完全正確 確定 Googlebot 看到了什麼。 例如，沒有設置允許 Googlebot 如何處理 JavaScript 網站。 有時 JavaScript 會中斷，因此 Googlebot 可能會看到與預期不同的內容。
目的是盡可能地模擬 Googlebot 的移動優先索引。
審核時，我使用我的 Googlebot 瀏覽器和 Screaming Frog SEO Spider 的 Googlebot 欺騙和渲染，以及 Google 自己的工具，例如 Search Console 中的 URL 檢查(可以使用 SEO 自動化Spider)，以及來自移動友好測試的渲染屏幕截圖和代碼。
即使是 Google 自己的公開可用工具也不能 100% 準確地顯示 Googlebot 看到的內容。 但與 Googlebot 瀏覽器和 SEO Spider 一起，它們可以指出問題並幫助進行故障排除。
為什麼要使用單獨的瀏覽器以 Googlebot 的身份查看網站？
1。 方便
擁有專用瀏覽器可以節省時間。 在不依賴或等待其他工具的情況下，我了解了 Googlebot 如何在幾秒鐘內看到一個網站。
在審核向瀏覽器提供不同內容的網站時， Googlebot，在問題包括服務器響應不一致的地方，我需要比平時更頻繁地在默認瀏覽器用戶代理和 Googlebot 之間切換。 但是使用 Chrome 瀏覽器擴展不斷切換用戶代理效率低下。
某些 Googlebot 特定的 Chrome 設置不會在瀏覽器選項卡或會話之間保存或傳輸。 某些設置會影響所有打開的瀏覽器選項卡。 例如，禁用 JavaScript 可能會使依賴 JavaScript 的後台選項卡中的網站停止工作(例如任務管理、社交媒體或電子郵件應用程序)。
除了擁有可以編寫無頭 Chrome 解決方案的程序員，“Googlebot 瀏覽器”設置是欺騙 Googlebot 的簡單方法。
2. 提高準確性
瀏覽器擴展會影響網站的外觀和性能。 這種方法將 Googlebot 瀏覽器中的擴展程序數量保持在最低限度。
3。 健忘
在瀏覽會話之間很容易忘記關閉 Googlebot 欺騙，這可能導致網站無法訪問按預期工作。 我什至因欺騙 Googlebot 而被網站屏蔽，不得不用我的 IP 向他們發送電子郵件以刪除屏蔽。
Googlebot 瀏覽器對哪些 SEO 審核有用？
SEO 審核最常見的用例可能是使用客戶端渲染或動態渲染的網站。 您可以輕鬆地將 Googlebot 看到的內容與一般網站訪問者看到的內容進行比較。
即使是不使用動態呈現的網站，您也永遠不知道會發現什麼通過欺騙 Googlebot。 經過八年多的電子商務網站審核，我仍然對我以前沒有遇到過的問題感到驚訝。
用於技術 SEO 和內容審核的 Googlebot 比較示例：
頁面佈局與一般網站訪問者看到的不同嗎？ 例如，在欺騙 Googlebot 時，我經常將鏈接視為黑色背景上的藍色文本。 雖然機器可以讀取此類文本，但我們希望呈現一些對 Googlebot 用戶友好的內容。 如果它不能渲染你的客戶端網站，它怎麼知道？ (注意：網站可能會在 Google 的緩存中按預期顯示，但這與 Googlebot 看到的不同。)
這取決於你想深入到什麼程度，但 Chrome 本身俱有許多有用的技術 SEO 審計功能。 我有時會比較普通訪問者與 Googlebot 訪問的控制台和網絡選項卡數據(例如，Googlebot 可能會被阻止訪問對頁面佈局至關重要或需要顯示某些內容的文件)。
如何設置您的 Googlebot 瀏覽器
一旦設置好(大約需要半小時)，Googlebot 瀏覽器解決方案就可以輕鬆以 Googlebot 的身份快速查看網頁。
第 1 步：下載並安裝 Chrome 或 Canary
用戶代理切換器擴展
用戶代理切換器 執行它在錫上所說的：切換瀏覽器的用戶代理。 Chrome 和 Canary 有一個用戶代理設置，但它只適用於您正在使用的標籤頁，如果您關閉瀏覽器，它會重置。
我使用 Googlebot來自 Chrome 瀏覽器設置的用戶代理字符串，在撰寫本文時將是最新版本的 Chrome(請注意，下面，我從 Chrome 中獲取用戶代理，而不是 Canary)。
要獲取用戶代理，請訪問 Chrome DevTools(按 F12 或使用瀏覽器窗口右上角的漢堡菜單，然後導航到更多工具 > 開發人員工具)。 請參閱下面的屏幕截圖或按照以下步驟操作：
轉到“網絡”選項卡
從右上角的網絡漢堡菜單：更多工具 > 網絡條件
點擊網絡應用程序的條件選項卡 梨子降到窗下
取消勾選“使用默認瀏覽器”
-
在這個階段，如果您使用 Chrome(而不是 Canary)作為您的 Googlebot 瀏覽器，您不妨勾選“禁用緩存”(稍後會詳細介紹)。
確保禁用可能影響網頁顯示方式的設置 — Windscribe 的擴展程序默認阻止廣告。 右上角的兩個圖標應該顯示一個零。
對於 Googlebot 瀏覽器場景，我更喜歡 VPN 瀏覽器擴展而不是應用程序，因為擴展是特定於我的 Googlebot 瀏覽器。
為什麼要欺騙 Googlebot 的位置？
問題？ 我錯過了什麼？ 給我發推文@AlexHarfordSEO。 謝謝閱讀！
關於亞歷克斯·哈福德 —
Alex 是 Salience 的技術 SEO 經理，以前是 Web 開發人員、設計師和內部 SEO。