深度优先还是广度优先：蜘蛛怎么走你的站
理解蜘蛛的遍历策略，就能预判它先抓什么后抓什么，把重要页面放在必经之路上。
蜘蛛抓取本质是图遍历。理解它的倾向，就能设计出顺着它性子的链接结构。
两种策略
广度优先先把同一层级的页面抓完再深入；深度优先顺着一条链接一路钻到底。真实调度是混合策略，普遍更偏向广度：先把面铺开，再挑值得深的路径。
对链接布局的含义
首屏与导航里的链接天然享受广度红利，第一批被抓；正文里的链接属于深度路径，要靠上下文相关性争取调度。
重要页面的摆位
高价值页面必须出现在高广度位置：首页、主栏目首屏、热文相关推荐。藏在深层翻页末尾的重要内容，等于让它排队排到天荒地老。
控制深度路径的质量
正文内链指向的页面要真正相关，一路点下去内容递减的路径，蜘蛛走两次就不再来了。
验证
日志按抓取顺序还原一条典型路径，看它是否如你设计的那样先广后深。路径不符合预期，就回去调整链接位置。