PythonPandas数据清洗与处理_缺失值与异常值方案【指导】

缺失值和异常值需结合业务逻辑与数据分布处理：识别时需检查隐性缺失；填充要按列类型选择策略；异常值检测应兼顾统计与业务规则，并通过截断、分箱或专项分析等方式处理。

缺失值和异常值是数据清洗中最常见的两类问题，处理不当会直接影响分析结果的可靠性。关键不是简单删掉或填上，而是根据业务逻辑和数据分布选择合适策略。

识别缺失值：别只看 NaN

除了常见的 NaN 和 None，空字符串、占位符（如 "N/A"、"missing"、-999）也可能是隐性缺失。建议先用 df.info() 查非空计数，再用 df.isin() 或正则匹配扫描可疑值：

• 检查空字符串：df.eq('').sum()
• 查找自定义缺失标识：df.isin(['N/A', 'NULL', 'unknown']).sum()
• 对数值列检查极值是否为伪装缺失：df['age'].describe() 看最小值是否异常（如 -1、999）

填充缺失值：按列类型和业务含义选方法

数值型、分类型、时间型列的填充逻辑不同，不能一概而用均值或众数：

• 数值列：连续变量优先考虑中位数（抗异常值）或插值（如时间序列用 ffill/bfill）；离散指标（如评分）可用均值，但需结合业务判断是否合理
• 分类列：避免直接填“未知”，先确认是否可归并小类（如把低频城市合并为“其他”），再用众数填充；若缺失比例高（>30%），考虑单独建“缺失”类别参与建模
• 时间列：缺失时慎用固定值填充，可用前向/后向填充，或根据事件逻辑推断（如订单创建时间缺失，可参考同用户其他订单时间估算）

检测异常值：结合统计与业务双视角

仅用 IQR 或 Z-score 容易误杀，尤其在偏态分布或存在合理极值的场景（如电商客单价、金融交易额）。应分步处理：

标签： python 编码 win 金融 数据清洗 状态码