重复页面合并：一次能省下多少抓取预算
重复内容是配额黑洞。讲清识别、合并与预防，把浪费的预算收回主线。
同一内容多个地址是慢性病：收录虚胖、权重分散、配额浪费三害并发。
识别
按内容相似度聚类，重点看标题与正文主体相同的页面组；参数变体、打印版、移动异构版是三大来源。
合并策略
选一个规范地址，其余301过去；技术上不便301的用canonical声明；参数变体从链接生成源头改造，比逐个打补丁干净。
能省多少
一个重复率四成的站点，合并后等于凭空多出四成预算投向唯一内容。日志对比合并前后的去重抓取量，收益立竿见影。
预防
URL新增任何参数前过一遍规范评审；模板输出链接的函数统一走规范化构造；发布系统层面禁止生成带可变参数的正文链接。
一次合并的价值
不只是预算。搜索引擎对规范化程度高的站点信任度更高，收录与排名的稳定性都会上一个台阶。