Python爬虫数据存入MongoDB的工程化流程讲解【技巧】

Python爬虫存MongoDB需工程化：配置分离防泄露，数据清洗保结构，批量写入提性能，索引分片优查询。

Python爬虫把数据存进MongoDB，关键不在“能不能存”，而在“怎么存得稳、查得快、扩得开”。工程化不是堆功能，是让每一步可监控、可回滚、可协作。

连接与配置分离：别把密码写死在代码里

MongoDB连接字符串含敏感信息，硬编码极易泄露。应统一用配置文件（如config.yaml）或环境变量管理：

• 用pymongo.MongoClient时，从os.getenv("MONGO_URI")读取连接地址
• 数据库名、集合名也抽成配置项，方便测试环境切dev_db、生产切prod_db
• 加连接超时、socket超时、最大重试次数（如maxPoolSize=10, serverSelectionTimeoutMS=5000），防爬虫卡死在连不上库上

数据清洗前置：入库前做结构校验和轻量去重

MongoDB虽是Schema-less，但混乱字段会拖慢查询、增加聚合复杂度。建议在pipeline中插入清洗层：

• 用pydantic.BaseModel定义数据schema，强制字段类型、必填项、默认值（如publish_time: datetime = Field(default_factory=datetime.now)）
• 对URL、手机号、邮箱等字段做格式标准化（如统一小写、补协议头、去空格）
• 入库前用collection.find_one({"url_hash": hashlib.md5(url.encode()).hexdigest()})查重，避免重复抓取污染数据

批量写入+错误隔离：别用insert_one逐条塞

单条写入吞吐低、网络开销大，且一条失败全报错。工程场景优先用insert_many或bulk_write：

标签： python go mongodb 编码 环境变量 爬虫 数据清洗 配置文件 邮箱 red