PythonPandas数据清洗方法_缺失值与异常处理技巧【指导】

数据清洗需针对性处理缺失值与异常值：识别时兼顾各类伪装缺失；填充按列类型选择众数、中位数或前向填充；异常值优先用IQR法结合可视化判断；推荐pipe链式操作并校验结果。

处理缺失值和异常值是数据清洗的核心环节，直接影响后续分析的准确性和模型效果。Pandas 提供了丰富、灵活的工具，关键在于理解不同场景下该选哪种方法，而不是堆砌函数。

识别缺失值：别只盯着 np.nan

缺失值不只有 np.nan，还可能表现为空字符串、占位符（如 "N/A"、"NULL"、-999）、或空列表等。直接用 .isna() 可能漏掉这些“伪装”的缺失。

• 先用 df.info() 和 df.describe(include='all') 快速扫视各列的数据类型与唯一值分布
• 对字符型列，检查常见占位符：df[col].str.strip().isin(['', 'N/A', 'NULL', 'unknown'])
• 对数值列，留意业务逻辑中的非法值（如年龄为 -1、销售额为 0 但应有交易记录），需结合领域知识判断

填充缺失值：按列特性选择策略

均值/中位数填充不是万能解。类别型、时序型、高基数列各有更合理的填充方式。

• 类别型列（如城市、产品类型）：优先用众数（mode().iloc[0]）或新增 “Unknown” 类别，避免引入虚假分布
• 数值型列（连续）：若分布偏斜明显（如收入），中位数比均值更稳健；若存在时间维度，可用前向填充（ffill）或插值（interpolate(method='linear')）
• 高基数 ID 类列（如用户 ID）：一般不填充，考虑删除整行或标记为缺失参与后续建模（如用 pd.get_dummies(..., dummy_na=True)）

检测与处理异常值：少用“一刀切”的 3σ

3σ 法则仅适用于近似正态分布，且对样本量敏感。实际中更推荐组合判断：

标签： python 工具 数据清洗