分页页面要不要给蜘蛛：别让翻页吃掉配额
列表翻页是必要路径还是配额黑洞？按站点类型给出不同的处理策略与配置方法。
分页是争议最大的页面类型，答案取决于内容密度。
内容型列表：给
博客、资讯站的翻页承载真实内容索引，蜘蛛顺着翻页发现新文章，是主干路径。保留抓取，同时给翻页序列做好标题差异化，避免整串翻页同一个标题。
筛选参数页：不给
带筛选、排序参数的列表组合是天文数字，全部可抓等于配额自杀。参数页统一canonical到规范版，严重的用robots兜底。
深层翻页：控制
翻到几十页之后内容价值趋近于零，却占据大量抓取。把翻页深度限制在合理范围，更早的内容通过时间归档页、标签页提供入口。
实操配置
翻页URL使用简洁的路径式参数；每页保持稳定条目数；第二页起的页面加prev或next语义；翻页里链接的正文页保持高质量，蜘蛛才会认为这条路径值得走。
验证方法
日志里统计翻页URL占总抓取量的比例，超过四成就该动手收窄了。