seo排名软件-seo程序论坛

robots.txt 这个文件,多数人只在建站时打开过一次,之后再没碰。它只有几行,写错一个字符,整站就可能从搜索结果里消失,而且不会有任何报错提示你。
它只告诉爬虫“哪些路径别抓”,不保证收录,也不保证不收录。真正决定页面是否展示的是页面本身的状态码和内容,别把两件事混在一起。
| 写法 | 实际效果 | 后果 |
|---|---|---|
| Disallow: / | 全站禁止抓取 | 整站从索引里消失 |
| 路径写成完整 URL | 规则不匹配 | 等于没写 |
| 忘了写 User-Agent | 规则无效 | 爬虫直接忽略 |
| 大小写混用 | 部分路径匹配不上 | 该挡的没挡住 |
第一条最致命。测试环境上线时忘了改过来,几天后流量归零,很多人第一反应是“被降权”,其实是自己把门锁了。
想挡某个目录,写目录路径加斜杠;想挡某类参数,用通配符但要写清边界。把所有带问号的地址一刀切,往往连正常分页也挡掉了。
星号匹配任意字符,美元符号锁定结尾。写 `/*?` 这种,等于把带参数的页面全部拦下;写 `/*.php$` 又要确认你的地址真以 php 结尾。写完先在测试工具里跑一遍。
禁止抓取和禁止收录是两件事。页面不该出现,用 noindex;只是不想让它抓,才用 robots。两个一起用,反而可能让爬虫看不到 noindex 标签。
几小时到几天都有可能,取决于抓取频率。改完去搜索后台看抓取统计,确认爬虫读到的是新版本,别改完就当没事了。
文件能不能直接打开、返回的是不是纯文本、里面有没有指向 sitemap 的一行。这三样都对,才算配好。死链和 sitemap 的处理分别见死链怎么查和sitemap 四个错误。
改完规则后,翻一遍日志里的四个信号,看被挡的路径是不是你想挡的。日志不会骗人,猜测会。
官方说明在 robots.txt 介绍,五分鐘能看完,比抄别人的模板靠谱。
静态站的文件路径就是真实目录,写目录名加斜杠就够;动态站的地址带参数,规则要按参数写,别照搬静态站的写法。
不用。默认允许抓取,只写需要挡的几条。规则越少越不容易出错,几十行 Disallow 的模板,多数是从别处抄来的。
先确认 robots 允许抓取,再交 sitemap,最后去后台提交。顺序反了,等于先关了门再喊人进来。
robots 挡住的路径,sitemap 里就别再交。两份文件互相打架,爬虫只会更困惑。
文件要放在根目录,带 www 和不带 www 是两个入口,两边都得读到同一份规则,少一边就等于白配,这一点最容易漏掉。
来源:黑帽工具网(/QQ号:25496334),转载请保留出处和链接!
本文链接:https://www.seozhaopin.com/SEOYHwz/13137.html
本站内容来源于合作伙伴及网络搜集,版权归原作者所有。如有侵犯版权,请立刻和本站联系,我们将在三个工作日内予以改正。
Copyright ©黑帽软件网 All Rights Reserved.