贏咖2 網站優化
微信: 咨詢熱線:
 
小知識
當前所在位置: seo優化首頁>優化教程列表頁>文章頁
seo一般有兩個需要做:一個是站內優化,另一個是站外優化,這樣效果才能更好!
站內優化:關鍵字優化,內容優化,標簽優化,標題標簽優化,關鍵字和原始文章增加,這對SEO來說是十分必要的。
站外優化:要做友聯,外鏈的添加,針對站點里邊的產品,服務,特征等進行優化操作。
 


如何寫一個合理的robots.txt文件


發布時間:2019-11-04    瀏覽次數:次
robots.txt文件的寫法
User-agent: *    這里的*代表的所有的搜索引擎種類,*是一個通配符
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/   這里定義是禁止爬尋require目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /ABC 這里定義是禁止爬尋ABC整個目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網站中所有的動態頁面
Disallow: .jpg$ 禁止抓取網頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: *   這里的*代表的所有的搜索引擎種類,*是一個通配符
Allow: /cgi-bin/  這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網頁和gif格式圖片

在這個例子中,該網站有三個目錄對搜索引擎的訪問做了限制,即搜索引擎不會訪問這三個目錄。
需要注意的是對每一個目錄必須分開聲明,而不要寫成 “Disallow: /cgi-bin/ /tmp/”。
User-agent:后的*具有特殊的含義,代表“any robot”,所以在該文件中不能有“Disallow: /tmp/*” or “Disallow:*.gif”這樣的記錄出現。
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
Robot特殊參數:
允許 Googlebot:
如果您要攔截除 Googlebot 以外的所有漫游器訪問您的網頁,可以使用下列語法:
User-agent:
Disallow:/
User-agent:Googlebot
Disallow:
Googlebot 跟隨指向它自己的行,而不是指向所有漫游器的行。



上一篇:怎樣把控網站更新頻率才能利于網站優化    |    下一篇:蜘蛛只抓取首頁文章不抓取怎么回事

友情鏈接    |   網站目錄
辽宁11选5任三遗漏