Python动态网页爬取方法_selenium与requests结合【指导】

动态网页爬取需结合Selenium与requests：Selenium模拟浏览器执行JS并获取渲染后HTML或提取API参数，requests高效调用接口；登录等交互用Selenium，后续数据请求交由requests，并注意Cookie、Headers一致性及反爬规避。

动态网页爬取不能只靠 requests，因为很多内容由 JavaScript 渲染，服务器返回的 HTML 源码里压根没有目标数据。这时候得让浏览器“真打开页面、执行 JS、等加载完”，再把渲染后的 HTML 或接口数据拿回来——Selenium 负责模拟真实浏览行为，requests 负责高效获取接口或静态资源，二者配合才是实用解法。

先用 Selenium 获取渲染后的真实 HTML

适用于页面结构依赖 JS 初始化（比如点击加载、滚动触底、Vue/React 渲染的列表），且你只需要最终 DOM 内容。

• 启动 ChromeDriver（推荐无头模式： options.add_argument('--headless=new')）
• 用 driver.get(url) 打开页面，再用 WebDriverWait 等待关键元素出现（别用 time.sleep）
• 调用 driver.page_source 获取完整渲染后的 HTML，之后可交给 BeautifulSoup 解析
• 示例：等 class="item-list" 的 p 加载完成再取源码

用 Selenium 提取请求参数，再用 requests 发起真实 API 调用

很多动态页背后是 Ajax 接口（如 XHR/Fetch），Selenium 可以帮你“看懂”这些请求怎么发的，而 requests 更快更轻量，适合批量抓取。

• 在 Selenium 中打开开发者工具（Network → XHR），手动操作触发目标数据加载，记下请求 URL、Headers（尤其是 Cookie、User-Agent、X-Requested-With）、Query 参数和 POST Body
• 用 driver.get_cookie('name') 或 driver.execute_script("return document.cookie") 提取登录态 Cookie
• 用 requests.Session() 复用会话，设置相同 headers 和 cookies，直接调用接口获取 JSON 数据
• 优势：绕过浏览器渲染，速度快；适合翻页、分页拉取大量数据

混合策略：Selenium 做登录/跳转，requests 接管后续所有接口

登录态往往需要交互（验证码、滑块、OAuth 跳转），Selenium 更可靠；但登录成功后，几乎所有业务数据都走接口，这时切回 requests 更稳。

标签： vue react javascript python java html js json ajax cookie 浏览