如何检查网站死链，批量页面只有一部分被发现时怎样划分对照组
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /5eb5c20260f5.html
📄
如何检查网站死链，批量页面只有一部分被发现时怎样划分对照组
先给结论：不要按“死链数量”分组，而要按“链接被发现路径”分组。把同一批页面拆成两组——一组只靠站内导航或列表页暴露链接，另一组额外放进站点地图或内链模块——然后对比两组被发现的差异。如果差异集中出现在某一组，说明问题更可能出在链接暴露方式，而不是页面本身失效；如果两组都没被发现，才需要回头检查页面状态码、robots 限制或服务器响应。这个划分动作决定了你下一步是改内链结构，还是查页面可访问性。
先确认你手里的资料能支撑哪种分组
你手上通常有三种资料：站点地图文件、内链导出表、服务器访问日志。它们能支持的分组不同。
- 只有站点地图：只能做“在站点地图 / 不在站点地图”的对照，无法说明导航路径的作用。
- 有内链导出表：可以按“入链数大于 0 / 等于 0”分组，这是最接近“被发现路径”的划分。
- 有访问日志：可以按“有抓取记录 / 无抓取记录”分组，但要注意日志缺失不等于没被抓取，也可能是日志采样、日志保留周期或抓取工具未记录。
如果三种资料都不完整，优先补内链导出，因为它直接对应“页面有没有被链接指向”这个可操作变量。站点地图只能证明你提交过，不能证明链接结构合理。
按链接暴露路径划分对照组的可执行步骤
假设你有一批 500 个商品页，其中约 80 个没有被发现。不要随机抽 40 个去查，而是按下面方式拆：
- 从内链导出表中，把 500 个页面按“站内入链数”排序，入链数为 0 的归入 A 组，入链数大于 0 的归入 B 组。
- 在 A 组内再拆一层：A1 是“只出现在站点地图、没有任何站内链接”的页面；A2 是“既没有站内链接、也没有进站点地图”的页面。
- 在 B 组内也拆一层：B1 是“入链来自导航或分类列表页”；B2 是“入链只来自页脚、相关推荐等弱位置”。
- 对每组各取相同数量（例如每组 20 个），记录它们当前返回的状态码、是否被 robots.txt 允许抓取、页面是否可正常渲染。
这个拆法的关键是：A1 和 A2 的差别在于站点地图是否覆盖，B1 和 B2 的差别在于链接位置强弱。如果 A1 被发现比例明显高于 A2，说明站点地图在这批页面上仍有一定暴露作用；如果 A1 和 A2 都没被发现，站点地图就不是当前瓶颈。
一个假设例子：两组差异指向不同动作
假设你有一批 200 个活动页，其中 50 个未被发现。按上述方式拆组后得到：
- A1（仅站点地图，无内链）：20 个中 12 个被发现；
- A2（无内链、无站点地图）：20 个中 2 个被发现；
- B1（导航/分类页有链接）：20 个中 18 个被发现；
- B2（仅页脚链接）：20 个中 9 个被发现。
这组假设数据说明：链接位置比“有没有链接”更值得关注。导航和分类页的链接效果明显好于页脚链接；站点地图对完全无内链的页面有一定帮助，但不如导航链接。此时下一步动作应该是把 A2 中的页面接入分类列表页或专题页，而不是继续扩充站点地图。如果扩充站点地图后 A2 仍无变化，说明该路径对这批页面不奏效，应转向检查页面响应或抓取限制。
注意，这只是用来说明比较方法的假设数字，不是任何真实站点的统计结论。你要用自己的数据替换，并保持每组样本量接近。
哪些现象不能单独证明分组正确
抓取量归零、站点地图提交后无反馈、某个页面状态码为 200，这些都不能单独证明你的分组已经找到原因。常见合理解释包括：
- 抓取量下降可能来自服务器临时不可用、日志采样变化或抓取预算重新分配；
- 站点地图提交成功不等于页面会被收录，它只是暴露链接的一种方式；
- 状态码 200 只说明服务器返回正常，不代表页面内容可索引或链接可被发现。
因此，分组之后必须用“同一组内多页面的共同特征”来支撑判断，而不是靠单个页面的表现下结论。
从分组结果决定下一步动作
分组完成后，按以下条件选择动作：
- 如果差异集中在“有无内链”这一层：优先补内链，把无入链页面接入已有分类页、专题页或相关推荐模块，并观察后续抓取记录是否覆盖到这些页面。
- 如果差异集中在“链接位置强弱”这一层：把弱位置链接迁移到导航、分类列表或正文内链，而不是简单增加链接数量。
- 如果两组都没有被发现：回到页面本身，依次检查 robots.txt 是否误屏蔽、页面是否依赖客户端渲染、服务器是否对抓取返回异常。robots.txt 的限制不等于可靠的索引移除，它只控制抓取，不控制已收录结果。
- 如果只有站点地图组表现更好：说明内链结构对这批页面覆盖不足，站点地图只是临时补位，长期仍应补内链。
每次只改一个变量，并保留改动前的分组记录。这样当下一批页面再次出现“只有一部分被发现”时，你可以直接对照上次的分组条件，判断是同一原因复现，还是前提已经变化。例如上次是内链不足，这次是页面模板改动导致链接位置整体下移，两种情况的处理动作完全不同。
