分页内容的收录策略:翻页的取舍与配置
列表翻页的收录价值分层处理:哪些收录哪些收编,配置方法。
翻页是内容组织的必需品,也是索引问题的常客。分层处理。
翻页的收录价值
价值翻页:博客与资讯的文章列表页,承载内容索引,值得收录;无价值翻页:筛选参数组合、超出内容深度的空页,收录纯浪费。
值得收录的配置
配置一:翻页URL规范统一,页码参数唯一;配置二:每页标题适度差异化,列表加页码标识;配置三:翻页序列的链接关系清晰,首页、上一页、下一页完整。
不值得收录的处理
处理一:canonical收拢,变体统一指向规范版;处理二:深度限制,翻到二十页后的内容按时间归档另开入口;处理三:robots兜底,无价值的参数路径屏蔽。
验证方法
日志看翻页URL的抓取占比:超过四成就是失衡,该收的收,索引效率立刻回升。