打開搜尋引擎的索引報告,看到一堆紅字和幾百筆未收錄,第一反應通常是慌。但我這二十年處理過的索引問題告訴我,慌沒用,分類才有用。同樣是「沒被索引」,伺服器錯誤、找不到頁面、被拒絕存取、還有明明是高價值頁卻沒收進去,這四種背後的原因和處理方式完全不同。這篇我用一家工業儲存廠商的實際索引報告當底,把這幾類問題拆開,告訴你哪些要立刻追、哪些其實不用理、哪些要先跟對的人核對再動手。

1. 伺服器錯誤 5xx:先確認這些頁到底還用不用

那家廠商的報告裡有 14 筆伺服器錯誤,回傳的是 5xx 這類狀態碼,常見的是 500、502、504。5xx 的意思是爬蟲來敲門時,伺服器自己出了問題,不是頁面不存在,而是「這次沒能好好回應」。這種錯誤我一定放第一優先追,因為它可能代表伺服器有間歇性的權限或逾時問題。

1.1 502 與 504 通常指向逾時或權限被拒

那批 5xx 裡有些是舊的多語系路徑,有些是舊新聞的 ID 頁。502 和 504 這類狀態碼,多半是伺服器回應超時、或後端拒絕了這次請求。我的做法是先請掌握伺服器的一方檢查程式碼和伺服器設定,確認這些網址被存取時是不是卡在權限被拒或處理逾時。搞清楚原因,才知道是要修伺服器,還是這些頁根本不該被爬到。

1.2 為什麼搜尋引擎抓得到早該淘汰的網址

我在實務上看過一個很典型的狀況:客戶說某些舊路徑「早就沒在用了」,但搜尋引擎還是一直去爬,還爬出 5xx。原因通常是這些網址還殘留在舊的網站地圖、內部連結或外部連結裡,爬蟲照著這些線索一直回來敲。所以我會先追一個問題:為什麼爬蟲找得到這些頁?把來源斷掉,比一筆一筆去排除有效得多。

1.3 確認完之後,清單交給搜尋引擎排除

當這些 5xx 頁確認都不再使用,而伺服器端也修好了不該有的錯誤,我的收尾做法是整理一份清單,透過搜尋引擎的工具提交,主動請它重新驗證、把問題排除。這一步不能省,否則報告裡的紅字會拖很久才自然消失。

2. 找不到頁面 404:不是每一筆都要修

那家廠商的 404 有 400 筆,數字看起來嚇人,但我要先幫你把觀念校正:404 不是錯誤,很多時候它是正確的。搜尋引擎官方的原則很清楚,頁面已經不存在、也沒有替代內容,回傳 404 或 410 就是正常做法;只有頁面搬家、或有明確的替代頁時,才該用 301 永久轉址。

2.1 先分辨這 400 筆哪些是正常淘汰

我處理大量 404 的第一步不是急著修,而是核對。這 400 筆裡,那家廠商有一批是技術頁、應用頁被報 404,不同語系底下都有。我會把清單交給最了解這些內容的一方,請他們核對:這些頁是不是真的該被淘汰了。如果是正常淘汰,那 404 就是正確狀態,完全不用理會,硬去轉址反而是製造問題。

2.2 哪些 404 才值得追,又該追什麼

核對之後,如果發現有些頁「不應該是 404」,那才是要追的對象。這時要追的是:這頁本來該在,為什麼回了 404?是程式路由掉了、內容被誤刪、還是連結寫錯?找到根因才修得對。我在實務上的順序永遠是「先核對、後追查」,因為 400 筆裡真正有問題的往往只是一小部分,把力氣花在核對上,能省下大量白工。下面這張表是我判斷 404 該怎麼處理的準則。

情況	正確處理	不該做的事
頁面已淘汰、無替代內容	維持 404 或 410	硬做 301 到首頁
頁面搬家、有明確替代頁	301 轉址到新頁	放著回 404
頁面應存在卻回 404	追程式路由或內容遺失	直接忽略
大量來源不明的 404	先核對清單再決定	整批一律轉址

3. 因拒絕存取 403 而被封鎖:多數時候不用動

報告裡另一類是 403,也就是爬蟲被拒絕存取而無法收錄。403 看起來也是紅字,但我的判斷經驗是,它經常是「本來就該擋」的頁。

3.1 登入相關頁被擋是正常的

那家廠商的 403 經研判,結果都是登入相關的頁面。這類頁本來就不該對外開放給搜尋引擎收錄,爬蟲被擋在外面回 403,是完全正常的行為,不需要調整。我在實務上看過有人一看到 403 就想全部放行,結果把後台登入頁也開給爬蟲,那才是幫倒忙。

3.2 判斷 403 該不該處理的分界

我的分界很簡單:先看被擋的是什麼頁。如果是登入頁、後台、會員專屬這類本來就該私密的內容,403 維持原狀就好。只有當你發現「一個該被公開收錄的內容頁」回了 403,那才需要去查權限設定是不是誤擋。分清楚這一點,就不會被報告上的紅字牽著走。

4. 高價值頁沒被索引:這才是真正要搶救的

前面三類多半是「該不該收」的問題,這一類不一樣。那家廠商有一批產品頁和技術頁,是實實在在該被收錄、也有商業價值的頁,卻沒進索引。這種我會列為真正要搶救的對象,因為每一頁未收錄,都是白白流失的曝光機會。

4.1 未索引的高價值頁,常卡在網址不一致

這批未收錄的頁,有部分問題出在網址結構不乾淨,例如同一頁存在帶不同前綴的多個版本,爬蟲的收錄資源被分散掉。我的做法是先把網址結構理乾淨,讓每一個高價值頁只有一個正規版本,再來談提交索引。網址還沒收斂就急著提交,常常提交了也不穩定。

4.2 用網站地圖提交,但前提是地圖產得出來

把高價值頁主動提交給搜尋引擎,最有效率的方式是透過網站地圖。但我在實務上遇過一個現實的卡點:那家廠商的網站地圖是靠後端 API 動態產生的,而那支 API 當時正好回傳 500 錯誤,地圖根本產不出來。這種情況下,要嘛先修好產地圖的 API,要嘛改用自訂方式生成一份靜態地圖,但自訂生成需要額外的開發與測試時間。我通常會先跟客戶講清楚這個時間成本,再決定走哪條路。

4.3 改版在即時,我會怎麼排這件事的順序

還有一個要考慮的變數:如果網站正要改版,而改版會影響網址結構,那我通常會建議高價值頁的索引搶救「等改版上線後再處理」。理由是,現在花力氣把舊網址提交進索引,改版一換網址又全部作廢,等於做白工。把索引動作卡在網址結構穩定之後,每一次提交才算數。時機的判斷,有時候比動作本身更重要。

5. 常見問題

5.1 索引報告裡一堆 404,我需要全部修掉嗎?

不用。404 對已淘汰、無替代內容的頁面來說是正確狀態,搜尋引擎也是這樣建議的。只有頁面搬家、有明確替代頁時才用 301 轉址。真正要處理的,是那些「本來該存在卻回 404」的頁。先核對清單,別看到數字就整批轉址。

5.2 5xx 和 404 哪個比較嚴重?

以優先度來說,我會先追 5xx。404 多半是內容不存在,語意上是清楚的;5xx 代表伺服器本身出了狀況,可能是間歇性的權限或逾時問題,背後往往藏著更廣的伺服器風險。5xx 不查清楚,可能影響的不只是那幾筆被報出來的網址。

5.3 403 被封鎖的頁需要開放給搜尋引擎嗎?

看被擋的是什麼頁。登入頁、後台、會員專屬這類本來就該私密的內容,回 403 是正常的,維持原狀即可。只有當一個該被公開收錄的內容頁被誤擋回 403 時,才需要去查權限設定。不要一律放行。

5.4 高價值頁一直不被索引,提交幾次就會收錄嗎?

提交只是請搜尋引擎來看,收不收由它判斷。如果頁面本身網址不一致、內容單薄、或有技術阻礙,提交再多次也不穩定。我的做法是先把網址收斂乾淨、確認頁面內容夠實在,再透過網站地圖提交,收錄率才會提上來。

5.5 網站地圖產不出來,還有別的方式提交嗎?

有。除了修好動態產圖的來源,也可以用搜尋引擎工具逐頁提交網址,或改用自訂方式生成一份靜態網站地圖。差別在成本:逐頁提交適合少量高價值頁,自訂生成地圖適合頁數多但需要額外開發測試時間。依頁數和急迫度選一條走。