使用 Selenium 自动化网页交互：定位并操作下拉菜单选项

admin 百科 2025-12-14 15

本教程详细介绍了如何使用 python selenium 库与网页上的特定下拉菜单进行交互，以选择并设置显示项目数量。文章涵盖了定位下拉菜单触发器、选择具体选项（如“100”），并提供了实用的代码示例。此外，还讨论了处理动态元素时的注意事项，并推荐了在数据抓取场景下使用 web api 作为更高效的替代方案。

在进行网页自动化测试或数据抓取时，经常需要与各种网页元素进行交互，其中下拉菜单（Dropdowns）是一种常见的交互形式。本教程将指导您如何使用 Selenium 精确地定位并操作网页上的下拉菜单，以改变页面显示的数据量，例如将每页显示的项目数设置为100。

1. 准备工作

在使用 Selenium 之前，请确保您已安装了必要的库和浏览器驱动：

Selenium 库: pip install selenium
Web 浏览器: 例如 Chrome、Firefox。
浏览器驱动: 下载对应浏览器版本的驱动（如 ChromeDriver），并将其路径添加到系统环境变量或在代码中指定。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

# 初始化 WebDriver (以 Chrome 为例)
# 请替换为您的 ChromeDriver 路径
driver = webdriver.Chrome() 
driver.get("https://www.gurufocus.com/stocks")

登录后复制

2. 定位并点击下拉菜单触发器

首先，我们需要找到并点击那个会展开下拉选项的元素。通常，这个元素可能是一个按钮、一个标签或一个

，它通过点击事件来显示下拉列表。避免使用过于绝对的 XPath（如/html/body/...），因为它们对页面结构变化非常敏感。相反，应尝试使用更具韧性的定位策略，如类名（CLASS_NAME）、ID（ID）或包含特定文本的 XPath。

通过观察网页结构，我们可以发现控制显示数量的下拉菜单触发器可能具有特定的类名。

try:
    # 等待下拉菜单触发器可见并可点击
    dropdown_trigger = WebDriverWait(driver, 10).until(
        EC.element_to_be_clickable((By.CLASS_NAME, "aio-tabs-button"))
    )
    dropdown_trigger.click()
    print("成功点击下拉菜单触发器。")
    time.sleep(1) # 等待下拉菜单展开
except Exception as e:
    print(f"点击下拉菜单触发器失败: {e}")
    driver.quit()
    exit()

登录后复制

3. 选择下拉菜单中的特定选项（例如“100”）

点击触发器后，下拉选项列表会显示出来。此时，我们需要定位到包含目标值（例如“100”）的选项，并进行点击。同样，避免使用绝对 XPath。一个更稳健的方法是查找包含特定文本的元素。

try:
    # 等待包含文本“100”的选项可见并可点击
    option_100 = WebDriverWait(driver, 10).until(
        EC.element_to_be_clickable((By.XPATH, "//p[@class='item' and contains(text(), '100')]"))
    )
    option_100.click()
    print("成功选择选项 '100'。")
    time.sleep(2) # 等待页面内容更新
except Exception as e:
    print(f"选择选项 '100' 失败: {e}")
finally:
    # 完成操作后关闭浏览器
    driver.quit()

登录后复制

4. 完整示例代码

将上述步骤整合到一起，形成一个完整的自动化脚本：

使用 Selenium 自动化网页交互：定位并操作下拉菜单选项-第2张图片-佛山资讯网

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

def set_items_per_page(url, items_count):
    """
    使用 Selenium 导航到指定 URL，并设置每页显示的项目数量。

    Args:
        url (str): 目标网页的 URL。
        items_count (str): 要设置的每页显示项目数量的字符串表示（例如 "100"）。
    """
    driver = None
    try:
        # 初始化 WebDriver
        driver = webdriver.Chrome() # 确保 ChromeDriver 可用或指定路径
        driver.get(url)
        print(f"已打开网页: {url}")

        # 步骤 1: 定位并点击下拉菜单触发器
        dropdown_trigger = WebDriverWait(driver, 10).until(
            EC.element_to_be_clickable((By.CLASS_NAME, "aio-tabs-button"))
        )
        dropdown_trigger.click()
        print("成功点击下拉菜单触发器。")
        time.sleep(1) # 短暂等待下拉菜单展开

        # 步骤 2: 定位并选择目标选项
        # 构建 XPath 以查找包含指定文本的选项
        option_xpath = f"//p[@class='item' and contains(text(), '{items_count}')]"
        target_option = WebDriverWait(driver, 10).until(
            EC.element_to_be_clickable((By.XPATH, option_xpath))
        )
        target_option.click()
        print(f"成功选择选项 '{items_count}'。")
        time.sleep(3) # 等待页面内容更新

        # 可以在此处添加进一步的验证或操作
        print("操作完成。")

    except Exception as e:
        print(f"发生错误: {e}")
    finally:
        if driver:
            driver.quit()
            print("浏览器已关闭。")

# 调用函数
if __name__ == "__main__":
    target_url = "https://www.gurufocus.com/stocks"
    set_items_per_page(target_url, "100")

登录后复制

5. 注意事项与最佳实践

等待机制 (WebDriverWait): 在与动态加载的元素交互时，使用显式等待（WebDriverWait 结合 expected_conditions）至关重要。这可以避免 NoSuchElementException 或 ElementNotInteractableException，因为元素可能尚未加载或尚未变为可点击状态。
健壮的定位器: 避免使用绝对 XPath。优先使用 ID、NAME、CLASS_NAME。如果这些不可用，使用相对 XPath，结合元素属性（如 text()、@id、@class）来创建更具韧性的定位器。
time.sleep() 的使用: 仅在调试或确定需要固定等待时间时使用 time.sleep()。在生产代码中，应尽可能使用 WebDriverWait，因为它更高效且可靠。
错误处理: 使用 try-except-finally 块来优雅地处理可能发生的 Selenium 异常，并确保在任何情况下都能关闭浏览器实例。