当前位置:首页 » SEO经验技巧 » 正文

robots.txt 写错这四处,等于把整站关在门外

7 人参与  2026年11月22日 20:09  分类 : SEO经验技巧  评论

robots.txt 这个文件,多数人只在建站时打开过一次,之后再没碰。它只有几行,写错一个字符,整站就可能从搜索结果里消失,而且不会有任何报错提示你。

它到底管什么

它只告诉爬虫“哪些路径别抓”,不保证收录,也不保证不收录。真正决定页面是否展示的是页面本身的状态码和内容,别把两件事混在一起。

四处最常见的写错

写法实际效果后果
Disallow: /全站禁止抓取整站从索引里消失
路径写成完整 URL规则不匹配等于没写
忘了写 User-Agent规则无效爬虫直接忽略
大小写混用部分路径匹配不上该挡的没挡住

第一条最致命。测试环境上线时忘了改过来,几天后流量归零,很多人第一反应是“被降权”,其实是自己把门锁了。

Disallow 不是开关

想挡某个目录,写目录路径加斜杠;想挡某类参数,用通配符但要写清边界。把所有带问号的地址一刀切,往往连正常分页也挡掉了。

通配符别乱用

星号匹配任意字符,美元符号锁定结尾。写 `/*?` 这种,等于把带参数的页面全部拦下;写 `/*.php$` 又要确认你的地址真以 php 结尾。写完先在测试工具里跑一遍。

想不被收录,用别的办法

禁止抓取和禁止收录是两件事。页面不该出现,用 noindex;只是不想让它抓,才用 robots。两个一起用,反而可能让爬虫看不到 noindex 标签。

改完多久生效

几小时到几天都有可能,取决于抓取频率。改完去搜索后台看抓取统计,确认爬虫读到的是新版本,别改完就当没事了。

顺手检查的三件事

文件能不能直接打开、返回的是不是纯文本、里面有没有指向 sitemap 的一行。这三样都对,才算配好。死链和 sitemap 的处理分别见死链怎么查和sitemap 四个错误。

和日志一起看

改完规则后,翻一遍日志里的四个信号,看被挡的路径是不是你想挡的。日志不会骗人,猜测会。

官方说明在 robots.txt 介绍,五分鐘能看完,比抄别人的模板靠谱。

静态站和动态站的区别

静态站的文件路径就是真实目录,写目录名加斜杠就够;动态站的地址带参数,规则要按参数写,别照搬静态站的写法。

每个目录都要写吗

不用。默认允许抓取,只写需要挡的几条。规则越少越不容易出错,几十行 Disallow 的模板,多数是从别处抄来的。

新站上线的顺序

先确认 robots 允许抓取,再交 sitemap,最后去后台提交。顺序反了,等于先关了门再喊人进来。

和 sitemap 的关系

robots 挡住的路径,sitemap 里就别再交。两份文件互相打架,爬虫只会更困惑。

文件要放在根目录,带 www 和不带 www 是两个入口,两边都得读到同一份规则,少一边就等于白配,这一点最容易漏掉。

来源:黑帽工具网(/QQ号:25496334),转载请保留出处和链接!

本文链接:https://www.seozhaopin.com/SEOYHwz/13137.html

本站内容来源于合作伙伴及网络搜集,版权归原作者所有。如有侵犯版权,请立刻和本站联系,我们将在三个工作日内予以改正。

Copyright ©黑帽软件网 All Rights Reserved.

百度分享获取地址:http://share.baidu.com/code
robots.txt  抓取规则  Disallow  收录  SEO配置  

微信:heimaowiki

<< 上一篇下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

网站地图 | 蜘蛛池出租 | 黑帽百科 百科论坛

Copyright Your 黑帽工具网.Some Rights Reserved.