Robots的完整写法

发表日期:2015-02-12   资讯来源:佰牛科技   浏览:124

作为SEO人Robots的写法作为必须了解的内容之一,错误的写法可能给你带来不被搜索引擎收录的恶果。

Robots文本中,因先写出对什么搜索引擎生效,然后是禁止抓取目录,允许抓取目录。

User-agent: 语句表示对什么搜索引擎的规则,如果内容是'*”,则表示对所有搜索引擎生效。

Baiduspider表示百度蜘蛛;

Googlebot 表示谷歌蜘蛛;

360Spider 表示360蜘蛛;

写了针对的蜘蛛后,就需要写具体的禁止抓取哪些目录,允许哪些目录。

Disallow: 表示禁止抓取后面的目录;

Allow: 表示允许抓取后面的目录。

* 是个通配符,可以代替任意内容。

$ 字符指定与网址的结束字符进行匹配。

例如,要拦截以 .asp 结尾的网址,可使用下列条目:

User-Agent:*

Disallow:/*.asp$

例:

Disallow:/admin/  禁止访问/admin/目录的内容。

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

Disallow: /*?* 禁止访问网站中所有包含问号(?) 的网址。

Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片。

Allow: /cgi-bin/这里定义是允许爬寻cgi-bin目录下面的目录。

Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

完整写法:

User-agent:*                      /**以下内容针对所有搜索引擎

Diasllow:/admin/                   /**禁止访问/admin/目录的内容

*****

Allow:/html/                                   /**允许访问/html/目录的内容

*****

作为新手对Robots不是很明确的朋友,可以不写Robots.txt文件,以免错误的写发导致内容的不收录。

Robots最多的用途是屏蔽网站的后台目录,以免被收录后,被heike所利用;以及保护自己的版权资源,以免被搜索引擎收录了以后,展示在搜索结果里。

内容标签:
seo优化 教程
seo网络公司
seo培训班
深圳网站建设
{ solution_title }
相关资讯

【签约】深圳目路教育官网网站建设项目

目路SEEPATHS专注于为学生家庭提供教育升学的定制服务。团队持续运营超过8年,目前已经发展成为一家以升学结果为导向,多元化道路与学生背景条件相结合的高端专业、实现学生个性化升学规划的服务机构。

日期:2020-09-24    浏览:116

【签约】深圳中浩建设官网建设项目

深圳中浩建设实业有限公司成立于2000年,是一家专业从事沥青路面施工,集工程投资管理,沥青路面,彩色沥青路面,路面养护维修为一体的公司。

日期:2018-07-12    浏览:116

【签约】深圳财阜集团APP开发项目

财阜集团的是一家扎根香港,并专注于为所有客户和会员提供一站式海外资产配置及服务的综合集团。

日期:2019-05-03    浏览:111

【签约】大可智能教育信息网平台网站建设项目

大可智能教育信息网面向全国一线教师和学生,提供高考、留学、考级考试以及 各年级相关备课、迎考的专业资源。

日期:2017-09-20    浏览:111

【签约】深圳活石学院教育平台项目

活石学院,源自香港,提供DSE课程学习,留学权威,服务全球,以及服务香港本地中小幼升学,规划香港及海外大学本科留学,是业内首屈一指的香港教育专家。

日期:2018-11-03    浏览:109

网站长尾关键词优化的六大法宝

长尾关键词,按字面理解就是搜索长度长,有2至3个词组成的词语,而用户有可能会用的这些词进行搜索。那么,对于已经存在的长尾词需要怎么优化呢?接下来分享长尾词优化的六大法宝。

日期:2018-07-05    浏览:163

用户粘性提高才能够保证网站良性发展

网站优化都有很多公司来说都是非常重要的,因为如果你的网站上要是有更多的客户的话,那么势必要在网站优化上下一些功夫,如果网站是比较好的话,那么这种网站它的用户粘性相对来说应该是比较高的,因为用户粘性对于我们建站的人来说是非常的重要的,因为只有用户粘性能够提高的话,才能够保证我们的网站运营中能够良性发展。

日期:2018-07-05    浏览:154

这些网站图片优化小技巧十分受用

图片优化是网站要进行优化的一个十分重要的方面,传统意义上的优化仅仅只是图片要加alt标签或是仅仅压缩。但这样太过粗陋,以下带来详细技巧。

日期:2018-07-05    浏览:122