01

起步型:核心页面优先

适合新站或有效页面较少的网站。先确认首页、栏目页和少量重点详情页能稳定返回,再建立最短抓取路径。

  • 核心 URL 清单
  • robots/sitemap 检查
  • 首轮抓取记录
  • 七日问题复核
02

持续型:围绕每日新增

适合稳定更新的内容站。首页和栏目作为持续入口,新增详情页按发布时间进入批次,并单独统计首次发现时间。

  • 每日新增量基线
  • 栏目抓取频次
  • 异常 URL 自动剔除
  • 14 日趋势对比
03

批量型:先抽样再扩量

适合页面数量较大的站点。先抽取不同目录样本验证抓取和索引表现,达到质量门槛后再逐步扩大,避免一次性放大结构问题。