链接深度与收录率:页面离首页的距离

页面与首页的点击距离,是最古老也最有效的收录变量之一。

深度的规律

三次点击内:优先收录区;四到五次:正常覆盖区;六次以上:自然抓取难以到达,收录率断崖下降。

深度的成因

成因一:栏目层级过多,大分类套小分类再套列表;成因二:只有纵向导航,缺乏横向通路;成因三:翻页过长,第十九页等于深度十九。

浅化的三板斧

板斧一:专题与聚合页做中间层,把深层内容拉到三次点击内;板斧二:标签与相关推荐的横向链接,绕开层级树;板斧三:翻页深度限制,深层内容按时间归档重新组织入口。

诊断工具

爬虫工具输出每页的最短路径分布;深度超六的页面占比超过两成,结构改造立项。