兔源码网 - 专注DZ模版分享、DZ插件分享!

 找回密码
 立即注册

QQ登录

只需一步,快速开始

广告
温馨提示:本站所有DZ相关模板、插件、教程(包括DZ应用中心已下架插件、模板)皆为提供免费下载,无任何收费模式(不包括VIP版块非DZ资源,VIP版块需充值兔币购买会员组方可下载),用户仅需手动前往【申请下载权限】申请用户组下载权限即可,如本站没有您需要的插件或模板,请自行前往淘宝互站网送吗网等第三方站点搜索相关插件或模板进行低价格购买下载本站非常不建议用户浪费金钱前往DZ应用中心购买。

robots.txt文件设置优化方法

[复制链接]
tuyuanma 发表于 2016-9-1 10:26:48 | 显示全部楼层 |阅读模式
温馨提醒:禁止内容附带广告图片、二维码图片,否则将在不通知情况下永久禁言账号!
欢迎加入兔源码站长交流群,您的加入是我们前行的动力!

DZ站长建站交流群:493651246

[ 温馨提示:点击上方群文字,可快速加入QQ群 ]


由于现在免费的网站程序越来越成熟,利用网站程序一天就可以做很多个网站,大家也都喜欢在线做网站,就是直接把网站程序通过FTP工具上传到服务器空间,安装设置好后就开始添加内容,但是由于网站在规划设计阶段总还不是那么完美,一些东西还没有完全确定下来之前网站经常需要修改一些东西,而做SEO的人都知道,百度或者谷歌对于经常变动的新网站通常的做法都是放入观察期,因为搜索引擎会觉得你的网站还不稳定,所以很多人就想到了设置robots.txt文件来禁止搜索引擎对于网站更新的内容进行抓取,等网站完全设计好后再进行相应的设置或者直接删除这个文件,允许搜索引擎抓取我们的网站页面。/ S" W+ i. b/ v! H, t- d
  O% H7 Y) x) M* F; p' B- C3 P
         这个文件能够帮我们很大的忙,在服务器下面没有,我们可以在本地编写好之后上传到服务器根目下,下面给大家举例它的有关功能以及编写方法。(注意我的语句大小写,大小写必须要一致,因为这个文件区分大小写。)例如搜索上海seo频道可以找到更多排名方法和seo精华,我们不妨来学习一下,以后你花钱也不定能找到这些东西的。
8 u7 A6 G6 V" T2 k(允许所有搜索引擎抓取任何内容)4 e% h. m$ [7 M9 j- V5 U1 ]
User-agent:*
$ {. L: B9 d. r. [' b" jDisallow:
5 o( X& m" H2 L& N  S2 u6 h(禁止所有搜索引擎抓取任何内容)  L( ^& [) o! g$ ^) }6 A: v
User-agent:*! C/ \8 O" k! K* l7 X, w; r
Disallow:/6 P% P; B5 T$ ?
(告诉所有搜索引擎不爬行aaa跟bbb目录下的这是一个神奇的网站。。。内容和123.html文件)
* b6 w. F$ J( }, ~% `( gUser-agent:*
) e* ~: |" l) \! v+ HDisallow:/aaa/
5 V2 H1 p+ l; F! i' oDisallow:/bbb/8 M3 f; F% L6 ~
Disallow:/这是一个神奇的网站。。。/123.html
. H7 w% T5 j3 x; v. F8 E) _(告诉除百度意外所有搜索引擎不准爬aaa目录下的123.htm文件), ?- o5 l1 E. @- {% t6 i/ O" k4 Y
User-agent:Baiduspider
. R! d" `! y6 S8 h$ w, ?' g9 \- qDisallow:) i) y4 i, S* q# Q7 A" B% R- l0 {
User-agent:*4 Z! g+ g9 @5 H- h: P( x) ~2 `/ c
Disallow:/aaa/$ n. N+ C: [9 ^7 ^8 J) G" W% O) T
Disallow:123.htm: n6 o% P( {5 h  x
(告诉搜索引擎不准爬aaa目录和文件,但是可以爬aaa目录下bbb的内容)
. P: o9 d7 b8 @+ R  B# RUser-agent:*' ^3 g+ I: |- f* X
Disallow:/aaa/  G( u- s8 V; T% T' }
Allow:/aaa/bbb/
. ~4 z- i; I2 F5 u: q(告诉谷歌允许抓取所有.html为后缀的URL,不允许百度抓取所有以.html为后缀的URL,禁止所有所有搜索引擎抓取.jpg格式的文件): X9 V1 t& `! S- x
User-agent:googlebot
" h0 \% l9 n7 rAllow:.html$
% E( z1 i, D. k. w0 OUser-agent:baiduspider
% K  w& V' ^( D/ bDisallow:.html$; x2 M0 W8 Q7 @- `4 f3 ?
User-agent:*& Z" o$ U9 A- Q/ ]8 q
Disallow:.jpg$
3 e/ c% e. P) }- ?/ ], q(告诉蜘蛛禁止抓取任何带.asp后缀的文件)
# ~( S9 Y& E. Y7 x4 e7 h3 zUser-agent:*
" T, J$ a" R% o0 B9 r: a9 KDisallow:/*.asp
& L/ E4 ]6 q6 a3 }  J1 W

  e" B7 H! Z7 `" P3 G3 P以上是robots.txt文件在网站中作用,供大家借鉴。  b1 r1 O) N; M9 d
1 L9 ^1 }2 R! _3 \1 r& F: \+ ?4 X5 ^

版权声明
1、转摘或引用本站内容资源须注明原网址,并标明本站网址(兔源码www.tuyuanma.com);
2、对于转摘或引用本站内容资源而引起的民事纠纷、行政处罚或其他损失,本站不承担责任;
3、对于不遵守本声明或其他违法、恶意使用本站内容者,本站保留其追究法律责任的权利。




自动排版 | 高级模式
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

广告

兔源码网 ( 赣ICP备17001544号 公网安备36112102000036号 )

兔源码 QQ交流群:493651246  GMT+8, 2019-10-23 20:38
←站长统计工具 查看密码:tuyuanma

兔源码DZ模板下载 站长邮箱:tuyuanma@qq.com 站长QQ:3197813386 网站地图

© 2001-2013 本站内容皆来自互联网及用户分享,如需删除请提供软著或商标证书。

     
快速回复 返回顶部 返回列表