用AI编程助手给站点做全站死链与重定向链体检：脚本自动爬取并生成修复优先级清单

站点跑久了，死链和重定向链会像水管里的水垢一样慢慢堆积。搜索引擎爬虫每次遇到404或302跳转链，都会浪费抓取预算，直接影响收录效率。手动用Screaming Frog扫一遍再逐条处理，几百个链接就能耗掉一整天。这篇讲的是用AI编程助手（Cursor、Claude Code、GitHub Copilot均可）写一个Python爬虫脚本，自动完成爬取、分类、优先级排序，输出一张可直接派活的修复清单。

先明确体检要抓什么

全站体检不是把所有链接都翻一遍就完事，重点是三类问题：返回404/410的死链、经过两次以上跳转的重定向链、以及指向已被noindex页面的内链。前两类影响爬虫效率，第三类影响权重传递。

脚本需要记录每个URL的最终状态码、跳转次数、跳转路径、来源页面。这些字段决定了后续优先级怎么排。AI助手在这里的价值是帮你一次性把数据结构设计对，而不是写完再改。

给AI的提示词模板

不要只说“写个爬虫”，要给出明确约束。可以直接把下面这段丢给Cursor：

用Python写一个站点爬虫，要求：
1. 从sitemap.xml和首页同时起步，广度优先，最多抓5000个页面
2. 记录每个URL的状态码、跳转链（完整路径）、来源页
3. 并发数限制为5，请求间隔0.5秒，UA设置为常见浏览器
4. 输出CSV，字段：url, status_code, redirect_chain, referrer, is_internal
5. 遇到403自动降速重试一次

拿到初版代码后，让AI补充异常处理——超时、SSL错误、编码问题各写一个分支。这一步能省掉大量调试时间。

跑完脚本后的分类逻辑

原始CSV只是数据，不是清单。需要按影响面排序，优先级规则建议这样定：

让AI助手基于这张表写一个分类函数，输入原始CSV，输出按优先级分组的修复清单。P0项当天处理，P1项排进本周迭代，P2项可以合并到下次改版。

重定向链每多一跳，移动端首屏时间平均增加200~400毫秒。三跳以上的链在Core Web Vitals里几乎必然拖后腿，别拖到季度复盘才修。

重定向链的修复实操

拿到redirect_chain字段后，典型的长这样：/old-a → /old-b → /new。修复动作是把所有指向/old-a的内链直接改成/new，同时在服务器配置里把/old-a的规则指向/new，跳过中间环节。

Nginx环境下改起来很快，把多条rewrite合并成一条：

rewrite ^/old-a$ /new permanent;
rewrite ^/old-b$ /new permanent;

WordPress站点可以用Redirection插件批量导入，但要注意插件自身的规则也会叠加跳转，改完必须重跑一次脚本验证链长是否降到1跳。

死链的三种处理路径

1. 有替代内容的，做301指向最相关的现存页面，别一律跳首页
2. 无替代且无搜索流量的，直接返回410，比404更快让爬虫放弃
3. 有外链价值的，恢复内容或做停放页，保住权重

判断有没有外链价值，可以结合Search Console的“链接”报告交叉看，脚本里加一个字段标记GSC有外链的URL，AI助手能帮你写调API的代码。

把体检变成日常动作

一次性体检解决不了问题，链接是动态产生的。建议把脚本挂到cron上，每周日凌晨跑一次，结果写入数据库，只输出新增问题。AI助手可以继续帮你写一个简单的对比逻辑：本次结果与上周diff，只推送新增的P0项到企业微信或飞书机器人。

整套方案落地成本大约半天写脚本、半天调规则，之后每周零人工。比起每次出问题再翻日志，前置的自动化体检才是站点运营里性价比最高的一笔投入。