網(wǎng)站上無意義的頁面，低質(zhì)量或特殊的頁面，可以設(shè)置機(jī)器人元標(biāo)記告知谷歌百度蜘蛛這個頁面不接受爬取或索引，在頁面使用nofollow或noindex標(biāo)記。
兩個主要設(shè)置：
index / noindex：是否允許爬蟲索引頁面，指示 Google 是否要在 Google 搜索結(jié)果中顯示此網(wǎng)頁
follow / nofollow：是否允許爬蟲爬取頁面，是否允許跟蹤頁面上的任何鏈接
添加方法：
在<head>里添加
1. 告知所有獲取工具頁面不需要獲取和索引：
< meta name="robots" content="noindex, nofollow" >
2. 告知所有獲取工具頁面需要獲取和索引：
< meta name="robots" content="index, follow" >
3. 告知所有抓取工具這個頁面不允許索引，但可以抓取頁面上的任何鏈接：
< meta name="robots" content="noindex, follow" >
4. 告知所有抓取工具這個頁面允許索引，但不可以抓取頁面上的任何鏈接：
< meta name="robots" content="index, nofollow" >
Tips： 默認(rèn)情況下，兩者都設(shè)置為“true”，因此如果您對此沒有問題，則無需設(shè)置此標(biāo)簽。
備注 ：
1. name 屬性的值 （robots） 指定此指令適用于所有抓取工具，包括搜索引擎和非搜索引擎獲取工具。 如需針對特定的抓取工具，可將 name 屬性的 robots 值替換為這個抓取工具的名稱。 如：
只想阻止 Google 將您的網(wǎng)頁編入索引，可撰寫為：
< meta name="googlebot" content="noindex" >
2. 如需屏蔽非搜索抓取工具（例如 AdsBot-Google），可添加針對具體抓取工具的指令，例如 ：
< meta name="AdsBot-Google" content="noindex" >。
3. robots nofollow與鏈接級別屬性不同，鏈接級別nofollow屬性會阻止 Googlebot 跟蹤單個鏈接，使用 rel=“nofollow”
4. disallow： 應(yīng)用在robots.txt中，告訴搜索引擎不要抓取這個網(wǎng)頁，但這并不能保證該頁面不會被索引。
5. Google 抓取工具（用戶代理）：
Googlebot（桌面版）：Googlebot
Googlebot（智能手機(jī)版）：Googlebot
Googlebot Video：Googlebot-Video 或 Googlebot
Googlebot News：Googlebot-News 或 Googlebot
Googlebot Image：Googlebot-Image 或 Googlebot
AdsBot： 檢查桌面版網(wǎng)頁廣告質(zhì)量。 （會忽略 * 通配符）
AdsBot Mobile Web Android： AdsBot-Google-Mobile 檢查 Android 網(wǎng)頁廣告質(zhì)量。 （會忽略 * 通配符。 )
AdsBot Mobile Web： AdsBot-Google-Mobile 檢查 iPhone 網(wǎng)頁廣告質(zhì)量。 （會忽略 * 通配符）
AdSense: Mediapartners-Google
Mobile AdSense: Mediapartners-Google
Mobile Apps Android： 檢查 Android 應(yīng)用頁面廣告質(zhì)量。 遵循 AdsBot-Google 漫游器規(guī)則。 （會忽略 * 通配符）
APIs-Google: APIs-Google
Google StoreBot: Storebot-Google
Google Favicon: Googlebot-Image / Googlebot
Google Read Aloud： Google-Read-Aloud（不會遵循 robots.txt 規(guī)則）
Feedfetcher： FeedFetcher-Google（不會遵循 robots.txt 規(guī)則）
Google 網(wǎng)站驗證工具：Google-Site-Verification（會忽略 robots.txt 規(guī)則）
