布萊恩的創業小窩

  SEO 中的robots meta和robots.txt當然很重要!如何設定?在何狀況下使用?這篇都會交給你啦!   圖片來源：seobility.net 目錄 甚麼狀況下該使用 robots meta 與 robots.txt 如何設定網站 robots.txt robots.txt-如何設定? 如何設定網站 robots meta   甚麼狀況下該使用 robots meta 與 robots.txt robots meta 對  SEO  的操作上也是很重要。robots meta 與 robots.txt 都能向搜尋引擎宣告如何處理網頁。前者為阻止搜尋引擎索引你的頁面 (但搜尋引擎還是有抓取你的網站資料) ； robots.txt 則是全面阻止搜尋引擎抓取你的資料 (搜尋引擎會自動略過你指定的網站)。 當然，大多數的狀況，你不會讓 robots.txt 來阻止搜尋引擎抓取辛苦建立的網站。但是以若這個網站對你的  SEO  有負面影響、或是私密性高的話，就可以用robots.txt 來阻擋搜尋引擎抓取，常見的情況如下所示: 1. 多年前有經過 黑帽 SEO  手法，卻還沒處理的網頁、 2. 施工中未完成的網頁等 3. 網站或是公司內部系統的登入頁面 若你只是希望這個網頁不要出現在搜尋引擎結果中的話，那用 robots meta 即可。 如何設定網站 robots.txt 【檔案存取位置】robots.txt 位於網站的根目錄下 【作用】告訴搜尋引擎哪些網站內容不要進行存取，並且可以指定 sitemap 的位置。 【路徑】如果你有建立並使用 robots.txt，則他的位置會是 http://網址/robots.txt，如果這個檔案不存在，則代表沒有使用 robots.txt。 【宣告類型】有五種，如下所示： User-agent 指定哪一種搜尋引擎的爬蟲，如 Google 的爬蟲 「googlebot」或是百度的爬蟲等等（* 號代表全部） Crawl-delay 限制爬蟲抓取每一頁的...

SEO 和谷歌新的網站管理員之間的關係,要變得更合作無間了嗎?   Search Console更新！Google：讓SEO完整掌握檢索狀況 日前， Google 宣布 在 Google Search Console 中啟用新版的檢索統計資料報告。身為 SEO 的你趕緊 點此 進來看看你的 Google Search Console 是否換然一新了？但是請記得：因為 Google 還在更新的過程中，所以報告難免會出一點小瑕疵。 Google 稱此次的報告更新，對網站開發者、網站管理者以及 SEO 來說，會更容易掌握 Google 檢索的狀況。更新的項目如下： - 依據回應、已檢索的檔案類型、檢索的目的及 Googlebot 類型而分組的檢索要求分析 - 主機狀態的詳細資訊 - 列表說明 Google 曾發出檢索要求的 URL - 「主機狀態」不只列出主網域的資訊，還個別列出所有子網域的摘要   新版的的檢索統計報告 顯示一段時間的或依天數的檢索要求總數、總下載資料大小以及平均回應時間，如下圖所示：   ▲ GSC 中啟用新版的檢索統計資料     Google 還將其分解成「分組的檢索數據」。該報告分別依照「回應」、「抓取的 URL 檔案類型」、「索引要求的目的」以及「依 Googlebot 類型」的檢索要求分析。   ▲ 新版 GSC 將檢索要求分析細分為四大類）     新版的主機狀態信息 在這份報告中，主機的狀況、出了哪些問題也一覽無遺，Google 會告訴你它在進入你的網站時所遇到的問題。Google 說：「報告中的主機狀態詳細信息，可讓你檢查過去 90 天內，你的網站對 Google 的整體可用性」。   ▲ 新版 GSC 的主機狀態可依「robots.txt 擷取」、「DNS 解析」、「伺服器類別」三類別顯示詳細資料，如有錯誤的話也可以分析錯誤信息與錯誤發生時間（如下圖）。     ▲ 伺服器類別錯誤示意圖。       另外，對於含有兩個以上的子網域 (例如 news.exa...