歡迎光臨安陽中飛網絡傳媒官方網站 設為首頁 | 加入收藏 | 聯系我們
公司名稱
 
 
業務快速通道
網站建設
為您量身打造企業網站
域名注冊
中英文域名,通用網址
虛擬主機
中國萬網,東方網域
企業郵箱
自由定制,隨需購買
網站推廣
百度競價,谷歌推廣
聯系我們

安陽市中飛網絡傳媒有限公司

地址:河南省安陽市北關區彰德路與健康路交叉口U樂廣場2220室
郵編:455000
咨詢熱線:0372-3983299
郵箱:[email protected]

當前位置:網站首頁  >> 新聞資訊  >> 網站策劃
利用robots文件做seo優化 讓蜘蛛更好的抓取網站
  2015-8-13 來源:安陽中飛網絡 作者:安陽中飛網絡

robots文件存在于網站根目錄,是用來告訴百度蜘蛛那些應該抓取,那些不應該抓取。正確使用robots文件有助于做好seo優化,robots文件的核心詞匯就是allow和disallow用法。百度官網是認可這個文件的,在百度站長平臺上也有robots這個欄目,點擊進入,就可以看到你網站robots文件是否編寫正確了。

百度robots文件使用說:

1、robots.txt可以告訴百度您網站的哪些頁面可以被抓取,哪些頁面不可以被抓取。

2、您可以通過Robots工具來創建、校驗、更新您的robots.txt文件,或查看您網站robots.txt文件在百度生效的情況。

3、Robots工具暫不支持https站點。

4、Robots工具目前支持48k的文件內容檢測,請保證您的robots.txt文件不要過大,目錄最長不超過250個字符。

利用robots文件做seo優化,讓蜘蛛更好的抓取網站

上圖我給的一個例子中,disallow語句有問題,原因是把英文的冒號寫成了中文的冒號。

當然直接輸入網站根目錄加上robtots.txt文件也可以

利用robots文件做seo優化,讓蜘蛛更好的抓取網站

User-agent:*   是用來置頂那些搜索引擎蜘蛛可以抓取的,一般默認設置

Disallow:/category/*/page/ 分類目錄下面翻頁后的鏈接,比如,進入校賺網分類目錄 "推廣運營經驗"目錄后,在翻頁一次,就成了 stcash.com/category/tuiguangyunying/page/2形式了

Disallow:/?s=* Disallow:/*/?s=*  搜索結果頁面和分類目錄搜索結果頁面,這里沒必要再次抓取。

Disallow:/wp-admin/ Disallow:/wp-content/ Disallow:/wp-includes/   這三個目錄是系統目錄,一般都是屏蔽蜘蛛抓取

Disallow:/*/trackback  trackback的鏈接

Disallow:/feed Disallow:/*/feed Disallow:/comments/feed  訂閱鏈接

Disallow:/?p=*   文章短鏈接,會自動301跳轉到長連接


 
上一篇:如何通過設計提升網站的氣質和品質? 下一篇: 我們網站真的需要這些功能嗎?
     
首頁 | 關于中飛 | 新聞資訊 | 客戶案例 | 在線留言 | 聯系我們 | 支付方式

Copyright © 0372it.com 安陽市中飛網絡傳媒有限公司 豫ICP備12006994號
地址:河南省安陽市北關區彰德路與健康路交叉口U樂廣場2220室   郵編:455000 咨詢熱線:0372-3983299

三昇体育网站