robots.txt文件如何书写

更新时间:1970-01-01 08:00点击:  来源:合肥seo  作者:懒猫

  robots文件是蜘蛛访问网站时查看的第一个文件,也可以说是蜘蛛抓取网站内容的第一步。所以在检查页面不收录的时候,robots文件也要排查一下。

robots文件认识

  robots文件不是命令,而是一个协议。蜘蛛在抓取网站时都会首先访同robots.txt文件。如果robots.txt文件同意蜘蛛抓取,蜘蛛才会抓取网站内容;如果rots.txt文件不同意蜘蛛抓取网站内容.蜘蛛将根据协议不对网站内容进行抓取。-般来说 如果网站没有被抓取,很可能是因为网站管理人员操作robots.txt文件失误,禁止了蜘蛛对网站的抓取因此我们一定要准确使用robots.cxt文件.确保网站内容能够被抓取。

robots写作语法

  (1)允许所有搜索引擎抓取网站的所有内容:User-agent: *Allow:/

  (2)禁止所有搜索引擎抓取网站的所有内容:User-agent:Disallow:/

  (3)禁上搜索引擎访向网站的某些目录,比如禁止访问admin:User-agent:

  Diallow: /admin/

  (4)仅限于访问某目录, 可以用"S”加后缀目录,比如仅限于访问ap目录:User-agent: *Allow: .aspSDisallow:/

  以上介绍的是robots文件的基本用法,SE0人员可以根据具体情况综合使用。

  总结:正确书写robots文件是很重要的,分享一个小技巧可以把网站地图的路径写进去促进收录,还有对于robots文件小编觉得有必要提醒大家的是为了网站安全务必不要把后台地址写进去。