页面体积多大合适：从抓取成本反推页面设计
页面体积直接影响单次抓取成本与整站抓取量。给出体积参考线与瘦身优先级。
同样的配额，页面越轻，蜘蛛单日能处理的URL越多。体积优化就是变相扩容。
参考线
HTML文档本身控制在几十KB以内；首屏总传输量在两百KB上下是舒适区；超过一兆的页面，抓取成本翻倍且渲染队列等待更长。
瘦身优先级
第一步处理图片：压缩、懒加载、裁掉移动端不需要的大图，这一步通常砍掉六成体积；第二步清理冗余内联样式与脚本；第三步审视第三方组件，统计脚本装五个的站点比比皆是，砍到两个。
不要牺牲的东西
正文文本、内链、结构化标注。瘦身剪的是脂肪，不是肌肉。
体积与收益的换算
日志里对比瘦身前后的日抓取URL数，同样的调度预算能多抓两三成页面，这笔账比任何优化技巧都直接。