robots.txt文件问题攻略大全
- 来源:懒猫seo博客 作者:懒猫 发布时间:2020-08-13 14:49:25 阅读: 分类:seo网站优化
导读:robots.txt文件问题攻略大全,本文中小六SEO将大家常遇到的关于robots.txt文件的相关问题进行汇总,希望大家又长知识了。 1、robots.txt是什么? 解答:robots.txt是一个纯文本文件。简单说就...
robots.txt文件问题攻略大全,本文中小六SEO将大家常遇到的关于robots.txt文件的相关问题进行汇总,希望大家又长知识了。
1、robots.txt是什么?
解答:robots.txt是一个纯文本文件。简单说就是一个互联网协议,是针对搜索引擎蜘蛛抓取网站时的一个提前声明。通过robots.txt文件告诉蜘蛛,该网站的哪些文件你能访问抓取,哪些文件不要去访问抓取,从而规避一些隐私文件或不想被收录的文件被蜘蛛爬取到,起到一个引导蜘蛛的作用。
搜索引擎蜘蛛爬取网站的第一个文件会优先选择robots.txt文件,所以在引导蜘蛛时robots.txt文件就显得尤为重要。
2、robots.txt写法
解答:robots.txt文件的写法,小六SEO在《robots编写秘籍》一文中有详细的说明,这里做几个重点说明。
user-agent:* 这里的星号,代表泛指所有的搜索引擎,如需要特指某个蜘蛛,则将各个搜索引擎蜘蛛的名称写下即可。
各大常用搜索引擎蜘蛛名称如下:
google蜘蛛:googlebot
百度蜘蛛:baiduspider
yahoo蜘蛛:slurp
alexa蜘蛛:ia_archiver
msn蜘蛛:msnbot
bing蜘蛛:bingbot
altavista蜘蛛:scooter
lycos蜘蛛:lycos_spider_(t-rex)
alltheweb蜘蛛:fast-webcrawler
inktomi蜘蛛:slurp
有道蜘蛛:YodaoBot和OutfoxBot
热土蜘蛛:Adminrtspider
搜狗蜘蛛:sogou spider
SOSO蜘蛛:sosospider
360搜蜘蛛:360spider
屏蔽所有蜘蛛写法:
user-agent:*
disallow: /
提示:这里的斜杠代表网站根目录。
屏蔽单个搜索引擎蜘蛛写法(如屏蔽谷歌):
user-agent:googlebot
Disallow: /
屏蔽单个目录:
user-agent:*
Disallow: /a/
提示:若a后面不加斜杠/a,表示以a形成的所有文件都屏蔽;加斜杠/a/表示只代表a目录下的所有文件。
屏蔽单个页面:
user-agent:*
Disallow: /123.html
屏蔽某一类后缀文件(如jpg图片):
user-agent:*
Disallow: /*.jpg$
屏蔽某个指定二级域名:
user-agent:*
Disallow: http(s)://123.seo-6.com
释放已屏蔽目录中的某个文件:
user-agent:*
Disallow: /a/
Allow: /a/img/
屏蔽所有动态页面:
user-agent:*
Disallow: /*?*
加入网站地图文件:
user-agent:*
Sitemap: http://www.seo-6.com/sitemap.xml
Sitemap: http://www.seo-6.com/sitemap.html
提示:尽量把链接写完整,免得抓取出错。
关于robots具体屏蔽那些文件,请阅读《robots具体禁止什么文件》一文,文中有详细阐述,这里不细讲。
3、robots.txt放在哪里?
解答:robots.txt必须指定放在一个网站的根目录下,且文件名必须全部小写。
相应URL地址例如:
http://www.seo-6.com/robots.txt
4、robots.txt文件存在限制指令
解答:这个也就是大家,常看到某些网站,快照描述写着“由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容”,其实就是该网站屏蔽了搜索引擎抓取,淘宝最为明显。
就是这个写法:
user-agent:*
disallow: /
解决办法,进入网站根目录,找到robots.txt文件,删除掉里面的“disallow: /”,然后等待快照更新就可以了。
5、robots.txt怎么看?
解答:都是进入网站空间,找到根目录下的robots.txt文件,打开观察写法,文件屏蔽,查看是否有误或新增即可。直接观察可以在浏览器输入主域名+robots.txt即可观察,修改还是要到服务器空间或ftp里面处理。
6、robots.txt可以删除吗?
解答:可以删除,但是对蜘蛛很不友好,建议不要删除,且把内容写完整。
7、robots.txt允许收录
解答:允许收录也就是写法,参考第二点写法规则即可。
8、robots.txt安全防渗透说明
解答:一般robots.txt文件中,我们会写到屏蔽后台路径如下:
user-agent:*
Disallow: /admin/
这个路径我们不能像上面这样直接写出来,很容易被别人窥视加以利用,所以一般我们需要设置复杂一点,并用星号泛指来表示。
如下:
user-agent:*
Disallow: /a*n/
将中间部分用泛指表示出来,蜘蛛是可以根据前后对照识别出文件,但别人想要知道就很难了,可防止被攻击,增加安全性。
9、robots.txt文件本身安全吗?
解答;robots.txt本身是没安全问题的,但如果空间被入侵,robots.txt文件被修改可能就会出错了。不过也很容易察觉到,一旦你发现异常了,修改回来就好了,所以robots.txt文件也需要时常看看是否有问题,做好安全维护工作。
好了以上就是这些内容,相信大家已经掌握robots要诀了,还没明白的就多看几遍。
本文由小六SEO原创首发,转载请注明来源和作者。
版权:【本站部分转载文章能找到原作者的我们都会注明,若文章涉及版权请发至邮箱:1695770950@qq.com,我们以便及时处理,可支付稿费。向本站投稿或需要本站向贵司网站定期免费投稿请加QQ:1695770950】
更多信息请关注微信:18621662294
- 相关推荐
- robots.txt怎么写,robots.txt文件的写法! 08-13
- 比较详细的robots.txt协议文件写法 08-13
- seo优化,如何对网站的robots.txt进行设置 08-13
- 如何编写和优化WordPress网站的Robots.txt 01-01
- robots.txt协议的写法,对其SEO的作用 01-01
- robots.txt文件如何书写 01-01
|
|
|
|
|
|