Python快速掌握数据分析中批量文件处理技巧【教程】

掌握glob找文件、pandas.concat合数据、pathlib理路径、tqdm+try控节奏四招，即可高效完成90%批量文件处理任务。

批量处理文件是数据分析中高频又刚需的技能，掌握几个核心方法就能省下大量重复操作时间。关键不在于写得多，而在于用对工具、理清路径、避开常见坑。

用 glob 一次性定位所有目标文件

不用手动列文件名，glob 能按通配符自动匹配路径。比如读取当前目录下所有 CSV 文件：

• import glob
  csv_files = glob.glob("*.csv") # 返回文件路径列表
• 支持多级匹配：glob.glob("data/2023_*.xlsx") 或 glob.glob("logs/**/*.log")（加 recursive=True）
• 注意：Windows 路径分隔符用 / 或 os.sep 更稳妥，避免反斜杠转义问题

用 pandas.concat 高效合并多个 DataFrame

逐个读再手动拼接效率低还易出错，concat 是标准解法：

• import pandas as pd
  dfs = [pd.read_csv(f) for f in csv_files]
  combined = pd.concat(dfs, ignore_index=True)
• 加 ignore_index=True 重置行索引，避免重复索引；加 sort=False 可跳过列名自动排序（保持原始列顺序）
• 若文件字段不全一致，用 join="outer" 补齐缺失列（默认 NaN），或 join="inner" 只保留共有的列

用 pathlib 替代 os.path，路径操作更直观

处理文件名、后缀、父目录时，pathlib 比传统 os.path 更简洁可读：

标签： python windows 工具 csv win