Python爬虫限速与延迟控制_防封策略实战说明【教程】

关键在于模拟真实用户行为节奏，需采用随机化或动态延迟（如random.uniform(1.5, 4.5)）、按域名分级限速、轮换请求头、复用Session，并实时响应429/403等风控信号动态降速。

爬虫限速不是简单加个time.sleep()就完事，关键在于模拟真实用户行为节奏、分散请求压力、规避服务端反爬识别逻辑。重点是“有策略的延迟”，而非“固定等待”。

合理设置请求间隔与随机化延迟

固定 1 秒或 2 秒请求极易被识别为机器行为。真实用户浏览页面存在自然停顿：读取内容、滚动、点击、思考等，时间分布接近正态或对数正态。

• 使用 random.uniform(1.5, 4.5) 或 random.gauss(2.8, 0.9) 生成非固定延迟（注意避免负值）
• 对同一域名的所有请求，建议最小间隔 ≥1.2 秒；高频操作（如翻页、列表采集）间隔拉长至 2–5 秒
• 可结合页面加载复杂度动态调整：详情页含图片/JS 渲染 → 延迟稍长；纯 API 接口返回快 → 可略短但不低于 1 秒

按域名/接口分级限速，避免全局一刀切

不同目标站点抗爬能力差异大：新闻站可能宽松，电商/政务/金融类平台风控严格。需单独配置速率策略。

• 用 requests.adapters.HTTPAdapter 配合 urllib3.util.Retry 实现 per-host 连接池与重试控制
• 推荐使用 scrapy.downloadermiddlewares.retry.RetryMiddleware（Scrapy）或自建 RateLimiter 类（Requests），按 host 维护独立计时器和请求数窗口
• 示例策略：taobao.com：≤3 req/10s；gov.cn 子站：≤1 req/8s；github.io：≤5 req/30s

引入请求头轮换 + Session 持久化

限速只是表层，服务端常结合 User-Agent、Referer、Cookie、TLS 指纹等综合判断。单一 IP+固定 UA 即使慢速也会被标记。

标签： python js git go github cookie 浏览器 session 爬虫 dns 金融 状态码