Python接口请求如何优化_批量请求与异常处理技巧【教学】

admin 百科 2025-12-18 14

Python批量请求需用Session复用连接、ThreadPoolExecutor并发、分层捕获异常并统一收口结果。关键包括：连接池调优、线程安全复用Session、按错误类型重试、结构化存储成败结果。

Python接口请求如何优化_批量请求与异常处理技巧【教学】-第1张图片-佛山资讯网

Python调用接口时，批量请求和异常处理是提升稳定性和效率的关键。单纯用requests.get()逐个发请求，既慢又容易崩——尤其面对几十上百个URL时。核心思路就两条：并发控制 + 稳健容错。

用requests.Session复用连接，减少开销

每次新建requests.get()都会重建TCP连接、TLS握手，耗时明显。换成Session对象，能自动复用底层连接，尤其适合批量请求同一域名的场景。

说明：
- Session会缓存连接池，默认保持10个空闲连接；
- 同一Session发出的请求，若Host相同，大概率复用已有连接；
- 配合mount可为HTTP/HTTPS定制Adapter（比如设置最大连接数）。

建议写法：

import requests
<p>session = requests.Session()</p><p><span>立即学习</span>“<a href="https://pan.quark.cn/s/00968c3c2c15" style="text-decoration: underline !important; color: blue; font-weight: bolder;" rel="nofollow" target="_blank">Python免费学习笔记（深入）</a>”；</p><h1>可选：调整连接池大小（避免TooManyRedirects或ConnectionPoolSizeError）</h1><p>adapter = requests.adapters.HTTPAdapter(pool_connections=20, pool_maxsize=20)
session.mount('http://', adapter)
session.mount('https://', adapter)</p><p>urls = ['<a href="https://www.php.cn/link/cf24f44a79866351337c1b317ffdc18d">https://www.php.cn/link/cf24f44a79866351337c1b317ffdc18d</a>', '<a href="https://www.php.cn/link/abc58d2523df2aea708a509fbd201437">https://www.php.cn/link/abc58d2523df2aea708a509fbd201437</a>']
for url in urls:
try:
resp = session.get(url, timeout=5)
resp.raise_for_status()
print(resp.json())
except requests.exceptions.RequestException as e:
print(f"请求失败 {url}：{e}")

登录后复制