当前位置:合肥网站优化 > seo网站优化 >

robots具体应该禁止些什么文件?

来源:懒猫seo博客  作者:懒猫  发布时间:2020-08-13 14:49:37  阅读:  分类:seo网站优化

导读:重庆SEO小六原创稿件,欢迎转载,请注明出处。 网上robots的写法,说法一大堆,也不知谁对谁错,到底robots该禁止那些文件呢?今天小六大概总结一下: 首先说明一点:每天百度派出的...

重庆SEO小六原创稿件,欢迎转载,请注明出处。 网上robots的写法,说法一大堆,也不知谁对谁错,到底robots该禁止那些文件呢?今天小六大概总结一下: 首先说明一点:每天百度派出的蜘蛛是有限的,robots写出来是为了节省蜘蛛资源让蜘蛛能更快的进行有效爬取和收录! 针对企业站来说,本身蜘蛛资源不会很多,所以我们更要珍惜蜘蛛的每次爬取,让其都有意义,不要去爬取一些无价值的页面,浪费了蜘蛛资源,从而导致网站迟迟未收录,没排名等情况! 下面举例列出来: 1、模板文件(/template/)可以屏蔽; 2、这个文件/uploads/一般放的是图片,可以屏蔽; 3、/data/系统数据文件,可以屏蔽; 4、/img/或/images/,如果你不是做的图片站,也可以屏蔽; 5、/bin/系统文件可以屏蔽; 6、/install/安装文件可以屏蔽; 7、/member/有会员的可以屏蔽; 8、/logreport/有统计报告的可以屏蔽; 9、/bjk/有加密的文件,可以屏蔽; 10、/js/,/css/可以屏蔽,留着是为了让蜘蛛更好地了解网站结构,资源少的情况下,可以屏蔽。 11、网站地图,sitemap要记得放进去,不要屏蔽,让蜘蛛第一时间去看你的网站地图,更快了解网站链接结构! 总结到此,希望对大家有些帮助! 相关知识: robots编写秘籍,新手必看!
原创声明:本站所有文章皆由懒猫原创,转载请注明出处与原文地址:http://www.lanmaoseo.com/seowzyh/6978.html
版权:【本站部分转载文章能找到原作者的我们都会注明,若文章涉及版权请发至邮箱:1695770950@qq.com,我们以便及时处理,可支付稿费。向本站投稿或需要本站向贵司网站定期免费投稿请加QQ:1695770950】
更多信息请关注微信:18621662294
技术支持每天都在等您哦!