内容互链网:让收录在站内自动扩散
页面之间的横向链接是收录扩散的血管。互链网的编织方法。
纵向导航是骨架,横向互链是血管,收录靠血管扩散。
互链的机制
蜘蛛抓到页面A,顺着链接发现B与C,B又通向更多页面;互链密度决定单次抓取的辐射范围。纯树状结构的站点,深层页面的发现依赖层层下钻,效率低。
编织三法
法一:相关推荐,每篇内容尾部链接三到五篇同主题文章,按语义自动匹配加人工校准;法二:标签聚合,标签页作为同主题内容的枢纽,双向链接;法三:正文自然引用,写作时链接相关的旧文,上下文的引用最有价值。
度的控制
单页导出链接十到二十条为宜;相关推荐的重复率别太高,同组文章循环推荐是死水。
效果验证
日志还原抓取路径:互链网建成后,单次访问的抓取深度与广度提升;深层页面的首抓间隔显著缩短。