Python批量构建URL与GET请求：多文件迭代的正确实践

本文旨在解决python中处理多文件迭代构建url并发送get请求时常见的迭代器耗尽问题。通过将文件内容预加载至列表，确保嵌套循环能够完整遍历所有数据组合，从而实现对所有目标主机和参数的有效请求，避免脚本提前终止。

1. 背景与常见问题

在Python开发中，我们经常需要从多个数据源（例如文件）中读取信息，然后组合这些信息来执行某些操作，比如构建一系列URL并发送HTTP请求。一个常见的场景是，我们有一个包含主机列表的文件和一个包含查询参数值列表的文件，目标是为每个主机与每个参数值组合构建URL并发送请求。

然而，在这个过程中，开发者可能会遇到一个陷阱：当使用嵌套循环直接迭代文件对象时，内部循环会耗尽文件迭代器。这意味着，一旦内部循环完成对一个文件的读取，该文件对象的光标就停留在文件末尾。当外部循环进入下一个迭代时，内部循环将无法再次从文件开头读取数据，导致后续的组合被遗漏，程序行为异常或提前终止。

考虑以下一个典型的错误实现示例，该示例尝试从 hosts.txt 和 strings.txt 文件中读取数据来构建URL：

import requests

# 假设 hosts.txt 内容:
# google.com
# target.com
# bing.com

# 假设 strings.txt 内容:
# x
# y
# z

# 错误示范：文件迭代器耗尽
with open('hosts.txt', 'r') as file:
    with open('strings.txt', 'r') as strings:
        for line in file:
            host = line.strip()
            # 内部循环迭代 strings 文件
            for string in strings:
                param_value = string.strip()
                url = f"https://{host}/?test=
"
                # resp = requests.get(url) # 实际请求
                print(f'构建URL: {url}')

登录后复制

上述代码的问题在于，当外部循环处理完 google.com 后，内部的 for string in strings: 循环会遍历完 strings.txt 的所有行，导致 strings 文件对象的迭代器已经到达文件末尾。当 file 迭代到 target.com 时，内部的 for string in strings: 循环将不会再次执行，因为 strings 已经没有更多的行可供读取了。因此，脚本将只为第一个主机生成所有组合，然后就“终止”了对后续主机的处理。

立即学习“Python免费学习笔记（深入）”；

标签： python html js json go 编码 google bing 状态码 常见问题 并发请求