「檢索」是Google官方文件給的正式稱呼，我們通常稱其為「爬取」。

在爬取階段，指的是Google透過追蹤連接、讀取Sitemap等多種方法來發掘網址。Google這樣做目的是尋找新網頁，并為這些網頁建立索引。

然而網站要成功被Google索引（收錄），需要符合一些相關規則，或是你提交的文件告訴Google哪些網頁可以被索引。

這份文件叫「Robot.txt」。

每個網站都被規定需要有這份文件，通常這份文件就像是一個網站的門口放的導覽地圖，在Google檢索時，告訴google哪里可以爬取、哪里不行。 常見的應用場景：

在中國，當地母語為中文，你的Robot.txt就會請Google盡量避免爬取美國版本的網站。

2.索引Index（收錄）

「索引」是Google正式官方文件的稱呼，我們通常稱它為「收錄」。

成功被索引的網頁，會收錄于搜尋結果當中。想打SEO排名戰，當然要讓你的網站被成功索引，讓潛在用戶透過搜尋找到你。

網站上線第一件事：檢查Google是否有收錄你

驗證方法很簡單，直接在搜尋列打：site:（你的網址），如果有就會顯示啰。

如果沒被收錄，可能有以下常見原因：

• 網站剛上線運作，Google還來不及進行檢索
• 網絡上的其他網站無法順利連至您的網站
• 網站本身的設計讓Google難以有效檢索
• Google在嘗試檢索您的網站時收到錯誤訊息
• 政策禁止Google檢索您的網站
• 沒有主動提交sitemap請Google檢索和索引

盡管Google會自動檢索世界上 大部分網站，但仍有漏網之魚。你可以主動邀請Google來收錄你的網站，你可以提交sitemap給Google，而Google Search Console這項工具將能幫你順利提交。

Sitemap和Robot.txt的關系

Sitemap是個檔案，Google這類搜尋引擎會讀取Sitemap，知道要如何爬取您的網站信息。因此Sitemap的更新、維護和完整度會幫助Google降低檢索的負擔，對SEO是重要而有幫助的。

而Robot.txt是一份文字文件，你可以在Robot.txt加入Sitemap，或是運用Google Search Console直接提交你的Sitemap，都能幫助你的網頁被檢索。

Robot.txt和Noindex的差別

Robot.txt只能告訴Google可不可以爬取哪些頁面，但不能決定哪些內容要不要被索引（收錄）進Google。

如果你的網站有某些內容不想被索引，這時就需要noindex這份指令文件。noindex有點像是你的網站政策，通常放于處。

3.演算

搜尋引擎的目的，是在最短的時間內，提供最符合使用者需求的相關結果。

如今網站生成的速度越來越快、越來越多，以往常討論到的算法類型可以明白，但不需過度針對和鉆研，目前Google算法的技術已進展到相當成熟的地步，不論是熊貓、企鵝或其他算法，都能夠做到「即時爬取」、「即時檢索」的地步，因此現在統稱為「核心算法」。

在這樣的情形下，我們該專注的，是提供優質的內容給使用者，并盡量保持在技術上方便Google算法共同合作的協調性。（sitemap，Robot.txt等文件、網站政策和構架清楚。）

結語

了解Google搜尋引擎運作的原則，相信能在你生產內容、擬定內容策上有更清楚和全面的概念，擁有良好的地基，后端內容的排名戰將打得更加精確、有效率。