页面多慢会让蜘蛛放弃：响应时间的三个门槛
用抓取行为数据讲清响应时间与抓取量的关系，并给出按优先级的提速顺序。
蜘蛛对慢站的容忍度比想象中低，而且它不会投诉，只会悄悄降频。
门槛一：一秒半
一点五秒以内是舒适区，抓取节奏不受影响。多数健康站点首字节时间在几百毫秒。
门槛二：三秒
超过三秒，部分蜘蛛开始减少并发，单日抓取量可见下滑。这个阶段站长往往毫无感知。
门槛三：八秒
超时重灾区。连续超时的URL会被记录为抓取失败，失败率高的站点进入低优先级队列，恢复要数周。
提速的正确顺序
先看服务器负载与带宽，再查数据库慢查询，然后处理大图与未压缩资源，最后才是前端优化。多数慢站的问题出在前两步，却把时间花在第四步。
容易被忽略的一点
蜘蛛高峰和用户高峰重叠时，动态渲染的页面最容易慢。给列表页、首页做服务端缓存，让蜘蛛拿到的永远是毫秒级响应，是性价比最高的护城河。