seo排名软件-seo程序论坛

日志不是给运维看的,是做内容的人该看的东西。谁来过、看了什么、被拒了多少次,答案都记在里面,只是没人愿意翻。
200 是正常抓取,301、302 是跳转,404 是不存在,503 是服务不可用,429 是请求太多被限流。看日志先按状态码分组,别一行行读。
如果 200 的请求大多指向栏目页和标签页,详情页反而很少,说明站内链接把蜘蛛引到了列表。列表页对搜索引擎价值有限,得检查详情页有没有被链出来。
改版、删文、改别名,任何一项没做跳转都会留下成片 404。数量突然翻倍时,先对照最近一次改动的时间点,八九不离十。
服务器扛不住,或者触发了限流,抓取频次会跟着掉。这时候补内容没用,先把资源问题解决,再等一两周恢复。
| 状态码 | 意味着什么 | 该做什么 |
|---|---|---|
| 200 落在列表页 | 内链结构偏了 | 给详情页加入口 |
| 404 突然增多 | 删改没做跳转 | 补 301 |
| 503 / 429 | 资源不足或限流 | 先修服务 |
| 只有图片和 CSS | 页面价值没被识别 | 查模板与首屏 |
每周导一次日志,按状态码分三组看比例,再看前十的 URL 落在哪类页面。整月一起看量太大,看不出变化。
单日异常不算趋势,节假日和爬虫换 IP 都会让曲线抖一下。连续两周同一方向变化,才值得动手。
看 User-Agent 里的爬虫标识和 IP 段,别只看是不是“像蜘蛛”。伪装的采集器会照抄 UA,但 IP 对不上,这类请求不算抓取,反而吃带宽。
日志里的响应时间。同一个页面,蜘蛛来的时候要三秒,人来了只会更慢;响应时间长的页面,抓取频次会自然下降,不用等惩罚。
按状态码和目录两级做透视,先看比例再看绝对值。样本至少取一周,单日的数据没有参考价值。
日志记的是所有请求,统计只记执行了脚本的访问,两边差一倍是常态。拿日志的页面请求数去对统计的浏览量,只会自己吓自己;对数要看趋势,不看绝对值。
上了新栏目、放出一批新链接,抓取量会短期上升,这是正常的;如果同时伴随 503 和响应变慢,说明服务器顶不住,得先扩容再放量。日志看三个月,规律自然出来;抓取是慢变量,别指望一次就抓到问题。
拓展阅读:日志里发现抓取异常后,按 网站不收录的自查顺序 走一遍;改版留下的 404 按 301 迁移清单 补跳转;服务器侧的资源占用用 JMeter 压测确认;抓取与索引的官方说明见 Google 抓取文档。
来源:黑帽工具网(/QQ号:25496334),转载请保留出处和链接!
本文链接:https://www.seozhaopin.com/SEOYHwz/13106.html
本站内容来源于合作伙伴及网络搜集,版权归原作者所有。如有侵犯版权,请立刻和本站联系,我们将在三个工作日内予以改正。
Copyright ©黑帽软件网 All Rights Reserved.