我們診斷過一家工業儲存廠商的網站,健檢時系統標出一個問題:llms.txt 這個檔案回應了 500 錯誤。這個小事件其實很典型,它把 llms.txt 該有的定位、以及很多人對 AI 爬蟲的誤解,一次都掀開了。先講結論:llms.txt 不是壞東西,但它遠遠不是 AI SEO 的重點,而且做錯了還會扯後腿。真正讓 ChatGPT、Gemini 願意引用你的,是另外一批更基本的功夫:內容能被抓到、能被理解、本身有價值。這篇用比較務實的角度,把 llms.txt 到底是什麼、該擺在什麼位置、以及那些更該優先做的事講清楚。文中的廠商與情況都是示範用途。

1. 先搞懂 llms.txt 是什麼,以及它不是什麼

要把力氣花對地方,得先認清這個檔案的真實定位。它被講得很神,但它的作用其實比大家想的有限。

1.1 它是一份給 AI 看的網站摘要,不是排名開關

llms.txt 的構想,是在網站根目錄放一個純文字檔案,用結構化的方式告訴 AI 爬蟲:這個網站是做什麼的、有哪些重要頁面、內容重點在哪。用意是幫 AI 更快理解你的網站。但它是一個業界提案,不是搜尋引擎的正式標準,主流 AI 目前也沒有公開保證會依它來決定引用誰。把它想成一張自我介紹的名片可以,把它當成排名或引用的開關就想錯了。名片遞出去,對方理不理你是另一回事。

我們常被問:那放了它到底有沒有用?誠實的答案是,它或許讓某些工具或 AI 在整理網站資訊時多一個參考,但這份參考有多少份量、會不會被採用,目前沒有公開的保證。把它理解成一個善意的輔助說明可以,把整套 AI 可見度的希望寄託在它身上就會失望。這也是我們談它時,總是先把期待值校準好的原因,免得客戶以為放了就一勞永逸。

1.2 它回應 500 錯誤,比沒有這個檔案還糟

那家工業儲存廠商的情況就很值得講。系統偵測到他們的 llms.txt 回應 500 錯誤,推測是檔案格式不對、不是純文字 UTF-8,或伺服器設定有問題。這裡有個關鍵判斷:如果根本沒有這個檔案,正常應該回應 404,也就是「查無此檔」,這對網站沒有任何傷害。但回應 500 是「伺服器內部錯誤」,代表有東西壞了。一個壞掉的檔案送出錯誤訊號,比乾脆沒有這個檔案更需要處理。所以我們當時給的建議不是急著把內容寫得多漂亮,而是先確認:這個檔案到底存不存在?如果不存在,為什麼不是回 404 而是報 500?先把伺服器行為弄對,再談要不要放內容。

這個判斷順序很重要:先看狀態碼,再看內容。很多人一聽到「llms.txt 有問題」,第一反應是去研究檔案裡該寫什麼,結果把力氣花在內容格式,卻沒發現真正的毛病是伺服器回了不該回的狀態碼。我們的習慣是先用工具確認這個路徑實際回應什麼,確定它行為正常,才進入「要不要放、放什麼」的討論。順序顛倒,往往白忙一場,還以為是內容沒寫好。

1.3 務實的態度:可做可不做,但不能放著壞

我們對 llms.txt 的立場很清楚。以投報率來說,它的必要性沒有大家想的那麼高,一個資源有限的網站,我們不會把它排在前面。但如果你已經有這個檔案,它就不能是壞的。壞掉的檔案送錯誤碼,是明確要修的;至於要不要從無到有去建一個,那是餘力之後的事,不是優先事項。這個分寸抓對,才不會把力氣花錯地方。

2. AI 爬蟲真正在乎的,其實跟傳統 SEO 高度重疊

與其糾結 llms.txt,不如看看 AI 爬蟲真正卡住的環節在哪。答案多半和傳統 SEO 的基本功重疊。

2.1 內容要能被抓到,這是一切的前提

很多人談 AI SEO 談得很玄,其實 AI 爬蟲要引用你,第一關跟傳統搜尋引擎一樣:內容要進得來、讀得到。如果你的重要內容藏在需要大量互動才載入的地方、或是被規則擋在門外,再厲害的 AI 也引用不到。我們在那家工業儲存廠商身上做的,反而是很基本的事:確認頁面回應正常、沒有被錯誤地封鎖、內容在原始碼裡就讀得到。這些基本功比 llms.txt 重要太多。連門都進不來,名片寫得再好也沒用。

判斷內容能不能被抓到,我們會看幾個具體的點:重要文字是不是寫在初始的原始碼裡,而不是等前端互動才補上;頁面有沒有因為設定而回了不該回的狀態碼;有沒有被登入牆或其他機制擋在外面。這些檢查聽起來基礎,卻是最常出問題、也最值得先排除的環節。內容進得來,後面的優化才有意義,否則都是空談。

判斷內容能不能被抓到,我們會實際用檢視原始碼的方式確認,而不是只看瀏覽器裡的畫面。因為畫面上看得到,不代表那段文字在初始的原始碼裡就存在,很多時候它是前端互動後才補上的。我們診斷時會把重要文字、作者資訊、關鍵段落逐一在原始碼裡搜一次,找不到就代表搜尋引擎與 AI 爬蟲很可能也讀不到。這一步花不了幾分鐘,卻常常是整個問題的源頭。

2.2 別在爬蟲設定上自己擋自己

我們看過一個很常見、也很可惜的錯誤:網站在爬蟲規則裡把某些爬蟲整個擋掉,結果連社群平台或 AI 抓取預覽的爬蟲都被拒於門外,分享出去沒有預覽圖、AI 也讀不到內容。那家廠商當時的爬蟲規則就有類似的異常設定,把該放行的爬蟲擋住了。這種問題修起來很快,但不修的話,你做再多內容,特定管道就是看不到你。定期檢查爬蟲規則有沒有誤擋,是我們每次健檢的固定動作。

會誤擋的原因五花八門:可能是沿用了舊的設定檔、可能是為了擋惡意流量而寫了過寬的規則、也可能是換了系統後預設值不同。我們不會假設規則一定正確,而是實際列出目前放行與封鎖了哪些爬蟲,再對照網站真正想被哪些管道看到。這一步常常能揪出一個「做了很多內容卻始終不被某個平台看到」的沉默原因,修起來也不難。

我們實務上排查這類問題,會先把爬蟲規則逐行列出來,標明每一條實際放行或擋住了哪些路徑,再對照網站真正想被哪些管道看到。常見的疏漏是規則裡用了過寬的萬用字元,本意只想擋掉某個後台路徑,卻連帶把預覽用的爬蟲一起擋在門外。這種問題改一行就好,難的是發現它,因為頁面在瀏覽器裡看一切正常,只有從特定管道抓取時才會現形。把規則攤開逐條確認,比憑印象判斷可靠得多。

2.3 結構化資料才是讓機器讀懂你的主力

如果真要問什麼能實質幫助 AI 理解網站,我們的答案是結構化資料,而不是 llms.txt。用機器能明確解析的格式標註出「這是產品、這是它的規格、這是一篇新聞、這是發布日期」,效果遠比一個摘要檔案直接。那家工業儲存廠商我們優先建議補的,就是產品、新聞文章、麵包屑與組織資訊的結構化標記,而不是花時間雕 llms.txt。下面這張表,把兩者的定位講清楚。

做法 成熟度 對 AI 的實質幫助 優先序
結構化資料標記 成熟且被廣泛支援 高,能精準傳達內容類型與屬性 優先做
內容可被抓取 基本要求 高,是被引用的前提 優先做
爬蟲規則正確 基本要求 高,避免自己擋自己 優先做
llms.txt 業界提案、未成標準 不確定,主流未公開保證採用 有餘力再做

看這張表會發現,真正排在前面的三項,也就是結構化資料、內容可被抓取、爬蟲規則正確,全是成熟而基本的功夫,llms.txt 則落在最後。這個排序不是貶低它,而是提醒:在資源有限時,把基本盤做對的報酬,遠高於雕一個還在實驗階段的檔案。我們給客戶排優先序,幾乎都是照這個順序走,不會本末倒置。

3. 一套我們會給企業站的 AI 可見度優先順序

把前面的觀念收攏成可執行的順序,大致是三步:先修技術地基、再補結構化資料、最後回到內容本身。

3.1 先把技術地基修對

面對一個想提升 AI 可見度的網站,我們一定從技術地基開始:頁面回應正不正常、有沒有錯誤的封鎖、重要內容是不是在原始碼裡讀得到、爬蟲規則有沒有誤擋。這些聽起來不性感,卻是決定 AI 到底看不看得到你的關鍵。那家工業儲存廠商的清單裡,llms.txt 只是其中很小的一項,真正花時間的是把這些基本盤逐一確認過。地基不穩,上面蓋什麼都會晃。

技術地基的檢查,我們會做成一份可逐項打勾的清單,而不是憑印象。每一項都有明確的是非:狀態碼正不正常、有沒有誤擋、內容在不在原始碼裡。這樣做的好處是任何人接手都能複查,也不會因為「感覺應該沒問題」就跳過。大型網站尤其需要這種可複查的紀律,因為問題常藏在某個沒人注意的角落,靠印象很容易漏掉。

技術地基的檢查,我們會做成一份可逐項打勾的清單,每一項都有明確的是非:狀態碼正不正常、有沒有誤擋、重要內容在不在原始碼裡。這樣做的好處是任何人接手都能複查,也不會因為「感覺應該沒問題」就跳過。我們診斷過一個內容量不小的站,做了很多文章卻始終不被某個平台引用,逐項查下來才發現是一段沿用已久的設定檔把該放行的爬蟲擋住了,改掉之後抓取才恢復。問題常藏在沒人注意的角落,靠清單才揪得出來。

3.2 用結構化資料把內容翻譯給機器

地基穩了之後,我們會把力氣放在結構化資料。產品頁標清楚產品名稱、型號、描述、圖片;新聞頁標清楚標題與發布日期;有麵包屑的頁面補上路徑標記;組織資訊補齊地址與社群連結。這些標記讓 AI 不必用猜的,就能明確知道每一段內容是什麼。要注意的是,這些屬性要動態帶入每個頁面的真實資料,不能全站套同一組,否則標記與內容對不上反而扣分。標記的價值在於誠實對應內容,不在於多。

我們也會提醒,結構化資料不是貼越多類型越好。硬是替不相干的內容套上標記,或標了卻和畫面上看到的不一致,反而會被視為不可信。正確的做法是只標註頁面上真實存在、使用者也看得到的資訊,讓標記成為內容的忠實翻譯,而不是另外編一套給機器看的說法。標記與內容一致,才是它發揮作用的前提。

3.3 內容本身要值得被引用

技術做好、標記補齊,最後回到最根本的:內容有沒有被引用的價值。AI 傾向引用資訊正確、結構清楚、能獨立被理解的段落。與其糾結 llms.txt 要寫什麼,不如把每一頁的內容寫得讓人一看就懂、資訊經得起查證。這件事沒有捷徑,卻是所有 AI SEO 手法裡最耐久的一項。工業產品這種專業內容尤其如此,規格準確、案例真實,本身就是最強的引用誘因。內容立得住,機器和人才會願意採信你。

值得一提的是,能被獨立理解的段落,在 AI 引用時特別吃香。一段文字如果拿掉前後文仍讀得通、資訊完整,被擷取引用的機會就高;反之,過度依賴上一段才看得懂的內容,機器不容易單獨採用。所以我們寫專業內容時,會盡量讓每個重點段落自成一個完整的答案,這對傳統搜尋和 AI 引用都有幫助,不必為了 AI 另寫一套。

我們寫專業內容時,會特別留意段落能不能被獨立理解。判斷方式很簡單:把一段文字單獨抽出來,不看前後文,它的資訊還完整嗎。如果答案是肯定的,這段被擷取引用的機會就高;如果它得靠上一段鋪陳才看得懂,機器就不容易單獨採用。工業產品這類專業內容尤其吃這一套,規格、數字、適用範圍寫得越明確,越容易被當成可信的引用來源。我們給客戶的建議是先把每個重點段落寫成可獨立成立的答案,這對傳統搜尋和 AI 引用都有幫助。

4. 常見的 llms.txt 與 AI 爬蟲迷思

這一節把我們最常被問到的幾個誤解,一次對照務實的看法。

4.1 「放了 llms.txt,AI 就會引用我」

這是最需要澄清的一個期待。llms.txt 目前是業界提案,主流 AI 並未公開承諾會依它來決定引用對象。放了它,不等於你就會被引用;沒放它,也不代表你不會被引用。真正影響引用的,是內容能不能被抓到、能不能被理解、以及本身有沒有價值,這三件事跟這個檔案沒有直接關係。把期待放回內容,才不會空等。

4.2 「檔案報錯沒關係,反正是新東西」

這個想法不對。檔案回應 500 錯誤代表伺服器有東西壞了,這跟「這個檔案重不重要」是兩回事。一個送出錯誤碼的端點,本身就是需要處理的技術異常。正確的行為是:檔案不存在時回 404,存在時回正常的純文字內容。介於中間的 500 錯誤,是我們一定會請工程端釐清的項目。新不新,跟該不該修,是兩件事。

4.3 「做了 AI SEO 就不用管傳統 SEO」

這個誤解會讓人把資源放錯地方。AI 爬蟲要引用你的前提,跟傳統搜尋引擎高度重疊:內容要可被抓取、要可被理解、要有品質。所謂 AI SEO,大半是把傳統 SEO 的基本功做扎實,再加上結構化資料這類讓機器讀懂的手法,而不是另起爐灶去追一堆新名詞。下面這張表整理了我們最常被問到的迷思與務實回應。

常見說法 務實看法
放 llms.txt 就會被 AI 引用 主流 AI 未公開保證採用,不能當引用開關
沒有這個檔案很吃虧 沒有就回 404,對網站沒有傷害
檔案報 500 沒差 是伺服器異常,必須修
AI SEO 跟傳統 SEO 無關 前提高度重疊,基本功先做

5. 常見問題

5.1 我的網站到底需不需要 llms.txt

以投報率來說,它的必要性沒有被宣傳得那麼高,資源有限時我們不會把它排在前面。如果你行有餘力想做,可以做,但要確保它是一個格式正確的純文字檔案。更重要的是,如果你已經有這個檔案而且回應了錯誤,那一定要先修好,因為壞掉的檔案比沒有還糟。

5.2 llms.txt 回應 500 錯誤代表什麼?該怎麼處理?

500 代表伺服器內部錯誤,通常是檔案格式不對、不是純文字 UTF-8,或伺服器設定有問題。處理的第一步是確認這個檔案到底存不存在:如果不存在,正常應該回 404 而不是 500,那要查為什麼伺服器回錯了狀態碼;如果存在,就把它修成格式正確的純文字檔案。

5.3 沒有 llms.txt 會不會被 AI 忽略?

不會因此被忽略。AI 是否引用你,取決於內容能不能被抓取、能不能被理解、以及本身有沒有價值,這些跟有沒有這個檔案沒有直接關係。與其擔心少了這個檔案,不如先確認你的重要內容在原始碼裡讀得到、沒有被爬蟲規則誤擋。把心力放在這些前提上更實在。

5.4 想提升 AI 可見度,第一步該做什麼?

先修技術地基,而不是先做 llms.txt。確認頁面回應正常、沒有錯誤的封鎖、重要內容可被抓取、爬蟲規則沒有誤擋該放行的爬蟲。這些基本盤穩了之後,再用結構化資料把內容類型與屬性標清楚,這兩步對 AI 理解網站的幫助,遠比一個摘要檔案來得實在。

5.5 結構化資料和 llms.txt,哪個對 AI 比較有用?

結構化資料。它是成熟且被廣泛支援的做法,能用機器明確解析的格式標註內容是產品、新聞還是組織資訊,讓 AI 不必用猜的。llms.txt 目前還是未成標準的業界提案,主流 AI 未公開保證採用。若要在兩者間排優先序,我們會先把結構化資料做好,llms.txt 留到有餘力再說。

5.6 AI SEO 和傳統 SEO 是兩套不同的東西嗎?

不是兩套互不相干的東西。AI 爬蟲要引用你的前提,跟傳統搜尋引擎高度重疊:內容要可被抓取、可被理解、有品質。所謂 AI SEO,大半是把傳統 SEO 的基本功做扎實,再加上結構化資料這類讓機器讀懂的手法,而不是拋開原本的基礎另追新名詞。

5.7 llms.txt 要多久更新一次?

如果你決定維護它,更新頻率其實取決於網站結構有沒有變,而不是有沒有到某個時間點。網站新增了重要區塊、改了主要頁面的分類,才有必要回頭調整這個檔案;內容只是日常增修,通常不必動它。我們的立場一直是:這個檔案的投報率不高,與其定期花時間維護它,不如把同樣的力氣放在確認重要內容在原始碼裡讀得到、爬蟲規則沒有誤擋。地基顧好,這個檔案維不維護都不會是關鍵。