關於SEO中robots meta與robots.txt分析~
SEO 中的robots meta和robots.txt當然很重要!如何設定?在何狀況下使用?這篇都會交給你啦! 圖片來源:seobility.net 目錄 甚麼狀況下該使用 robots meta 與 robots.txt 如何設定網站 robots.txt robots.txt-如何設定? 如何設定網站 robots meta 甚麼狀況下該使用 robots meta 與 robots.txt robots meta 對 SEO 的操作上也是很重要。robots meta 與 robots.txt 都能向搜尋引擎宣告如何處理網頁。前者為阻止搜尋引擎索引你的頁面 (但搜尋引擎還是有抓取你的網站資料) ; robots.txt 則是全面阻止搜尋引擎抓取你的資料 (搜尋引擎會自動略過你指定的網站)。 當然,大多數的狀況,你不會讓 robots.txt 來阻止搜尋引擎抓取辛苦建立的網站。但是以若這個網站對你的 SEO 有負面影響、或是私密性高的話,就可以用robots.txt 來阻擋搜尋引擎抓取,常見的情況如下所示: 1. 多年前有經過 黑帽 SEO 手法,卻還沒處理的網頁、 2. 施工中未完成的網頁等 3. 網站或是公司內部系統的登入頁面 若你只是希望這個網頁不要出現在搜尋引擎結果中的話,那用 robots meta 即可。 如何設定網站 robots.txt 【檔案存取位置】robots.txt 位於網站的根目錄下 【作用】告訴搜尋引擎哪些網站內容不要進行存取,並且可以指定 sitemap 的位置。 【路徑】如果你有建立並使用 robots.txt,則他的位置會是 http://網址/robots.txt,如果這個檔案不存在,則代表沒有使用 robots.txt。 【宣告類型】有五種,如下所示: User-agent 指定哪一種搜尋引擎的爬蟲,如 Google 的爬蟲 「googlebot」或是百度的爬蟲等等(* 號代表全部) Crawl-delay 限制爬蟲抓取每一頁的...