1. IP 在境外,百度蜘蛛访问异常
Cloudflare 的边缘节点大多在 境外(香港/东京/新加坡);
百度蜘蛛认为站点服务器在海外,会降低抓取频率和优先级;
极端时甚至直接判定为海外镜像站、内容克隆站,触发惩罚。
2. JS Challenge / Captcha 拦住搜索引擎爬虫
你在 Cloudflare WAF 中开启了防爬虫规则(如 JS Challenge);
百度、360、神马等爬虫 识别不到 Cookie 或无法执行 JS;
直接被阻断,返回 403、JS 页面或 CAPTCHA 页面,导致页面抓取失败。
3. TLS 握手失败或 DNS 污染
Cloudflare 的全球证书策略有时会触发 国内某些宽带 DNS 劫持/污染;
影响不仅是人类用户访问慢,也会造成蜘蛛抓取失败(尤其是 HTTP/2)。
如何解决百度收录断崖式下滑?
方案:主站关闭 Cloudflare CDN,只保留 DNS 托管(灰色云朵)
操作步骤:
登录 Cloudflare;
找到 cuwen.com;
将所有 www.cuwen.com、cuwen.com 的 DNS 记录状态改为灰色云朵;
等待 1–2 小时生效;
百度 Search Console 提交更新索引,修复抓取错误。
静态资源另用子域加速(如 img.cuwen.com)
主站用灰色云朵,保障百度正常抓取;
静态资源用子域 img.cuwen.com 开启橙色云朵,专供海外加速;
建议不要做的事
| 主站长期启用 Cloudflare CDN:百度等中文搜索引擎降权或停止抓取
| 在 `.html` 页面上设置 JS 防护或验证码验证:直接拦截蜘蛛,收录断崖
| Cloudflare SSL 设置为 Full/Strict + 非标准证书:导致国内访问失败
| 全站缓存 HTML(无 UA 区分):百度抓到缓存,内容错乱或过期
做法优化建议
| `cuwen.com` 主站 :不要开 CDN,灰色云朵
| `img.cuwen.com` 静态资源:可开 CDN,加速海外访问
| WAF 规则:请勿对 `.html` 页面设置 JS Challenge
| 百度收录修复:使用百度站长工具提交抓取异常 + sitemap