Python网页抓取三步：发请求（requests带headers）、取内容（检查status_code）、提数据（BeautifulSoup用select找标签，get_text清洗）；保存用CSV或JSON，每页print进度。

用Python做网页抓取，核心就三步：发请求、取内容、提数据。不写花哨框架，从真实网页出发，把每一步踩实。

选对工具：requests + BeautifulSoup 是新手黄金组合

requests 负责“敲门”，拿到网页源码；BeautifulSoup 负责“读纸条”，从 HTML 里精准找出你要的信息。不用 Selenium，除非页面靠 JS 渲染且没提供 API。

• 安装命令：pip install requests beautifulsoup4
• 加 headers 模拟浏览器访问，避免被封（User-Agent 必填）
• 检查 response.status_code == 200 再解析，否则先看错在哪

定位目标：用浏览器开发者工具找真实数据位置

右键网页 → “检查” → 切到 Elements 标签，鼠标悬停看结构。别信网页显示的样子，要看 HTML 源码里怎么写的。

• 标题可能是
  ，也可能是 —— 以实际标签为准
• 用 Ctrl+F 在 Elements 面板里搜关键词（比如“价格”、“作者”），快速定位
• 优先用 class、id 等稳定属性；避免依赖嵌套层数（如 p > p > ul > li:nth-child(2)），容易失效

提取数据：用 select() 或 find_all() 抓准节点，再用 .get_text() 或 .get() 清洗

BeautifulSoup 的 select() 支持 CSS 选择器，比 find_all 好写易读；.get_text() 自动去空格换行，.get('href') 提链接属性。

标签： css python html js json 浏览器 工具 csv 爬虫