Python爬虫异常如何处理_稳定性优化技巧【技巧】

Python爬虫需通过预判异常、分层捕获与优雅降级保障稳定性：网络请求异常用tenacity指数退避重试；解析异常优先用.get()和空值校验；反爬响应需限速换UA；Session复用+超时控制提升请求层健壮性；解析采用语义化定位与fallback；全链路埋点监控并自动告警恢复。

Python爬虫运行中遇到异常很常见，关键在于提前预判、合理捕获、优雅降级。稳定不是靠不报错，而是出错后能继续跑、可追溯、不崩。

常见异常类型与对应处理策略

网络请求类异常（如requests.exceptions.ConnectionError、Timeout）最频繁，需单独捕获并重试；解析类异常（如KeyError、AttributeError）多因页面结构变动，建议用.get()或getattr()替代直接取值；反爬触发的HTTP 403/429应主动限速+换User-Agent，而非硬等超时。

• 对ConnectionError和Timeout，统一用tenacity库做指数退避重试（最多3次，间隔1~4秒）
• 解析字段前先检查响应状态码是否为200，再用try/except包裹关键字段提取逻辑
• 遇到429 Too Many Requests，立即暂停30秒，并记录当前URL到待重试队列

请求层稳定性加固

别只靠requests.Session()，要配合连接池复用、默认超时、重定向控制。Session对象全局复用可减少握手开销，但需注意线程安全——多线程下每个线程应持有独立Session实例。

• 设置timeout=(3, 7)：3秒连通，7秒读取，避免单请求卡死整个流程
• 禁用自动重定向（allow_redirects=False），自己判断跳转逻辑，防止陷入重定向循环
• 使用urllib3.util.retry.Retry配置底层重试策略，比上层try/except更轻量

数据解析与容错设计

网页结构随时可能变，硬编码XPath或CSS选择器极易断裂。优先用语义化定位（如含“价格”文字的邻近标签），再 fallback 到备用路径。所有解析结果必须校验非空，空值统一转为None或默认值，不抛异常。

标签： css python redis html 微信 编码 企业微信 session 栈 爬虫 状态码 css选择器 red