被黑网站和疯狂抓取

了解爬行喙

据谷歌分析师 Gary Illyes 称，网站抓取活动的突然增加应谨慎处理。尽管这看起来像是一个积极的信号，但它往往预示着更深层次的问题。

Illyes 建议：

“当搜索引擎意外地开始疯狂地抓取你的网站内容时，不要过早高兴。”

有两个常见问题需要注意：无限空间和网站黑客。

无尽的空间和蜿蜒的山峰

无限空间是指网站的各个部分，例如日历模块 telegram 数字数据 或具有无限过滤器的产品列表，可生成无限的潜在 URL。这可能会导致搜索引擎爬虫变得过度活跃。

Illyes 解释道：

“如果您的网站通常包含搜索用户认为 2017 年国际理论物理中心会议 有用的页面，那么爬虫程序会暂时对这些无限的空间感到兴奋。”

为了缓解这种情况，我们建议使用 robots.txt 文件阻止爬虫访问无限空间。

导致跟踪增多的另一个令人担忧的原因是安全漏洞。黑客可以向信誉良好的网站注入垃圾邮件，最初诱骗爬虫程序对看似新内容进行索引。

Illyes 指出：

“如果一个恶意行为者以某种方式获得访问权限……他们可能会用垃圾充斥你的网站……爬虫程序会对这些新页面感到兴奋一段时间，并愉快地抓取它们。”

跟踪峰值响应

Illyes 建议将爬行次数突然、意外增加视为潜在问题的症状，直到找出根本原因。

“将突然、意外增加的爬行次数视为一种症状……直到你能证明不是这样。或者，你知道，也许我只是一个坚定的悲观主义者。”