CSV文件数据清洗与格式转换教程：Python实现行删除、分隔符及编码转换

admin 百科 2025-12-09 13

本教程详细介绍了如何使用python的`csv`模块对csv文件进行数据清洗和格式转换。内容涵盖了如何删除特定行、替换数据字段内的字符、更改文件分隔符以及实现utf-16到utf-8的编码转换。通过逐行处理数据，本教程提供了一个高效且内存友好的解决方案，并纠正了常见的编程错误，旨在帮助用户构建健壮的csv处理脚本。

引言：CSV文件处理的常见挑战

在数据处理工作中，CSV（逗号分隔值）文件因其简洁性而广泛应用。然而，由于数据来源的多样性，我们经常需要对CSV文件进行清洗、格式化和编码转换。这可能包括删除不必要的行、统一分隔符、替换特定字符，以及处理不同的文件编码。本教程将通过一个具体的案例，详细讲解如何利用Python的csv模块高效地完成这些任务。

CSV文件数据清洗与格式转换教程：Python实现行删除、分隔符及编码转换-第2张图片-佛山资讯网

核心需求分析

假设我们有一个名为input.csv的CSV文件，需要对其进行以下转换以生成一个新的output.csv文件：

删除前导无效行： 移除文件开头的一些空行或包含无效数据的行（例如，只有连字符的行）。
添加新文件头： 在输出文件中加入自定义的列标题。
更改分隔符： 将原始的逗号(,)分隔符替换为分号(;)。
替换字段内字符： 将数据字段中所有的连字符(-)替换为分号(;)。
编码转换： 将原始文件的UTF-16编码转换为UTF-8编码。
生成新文件： 在保留原文件的同时，创建一个处理后的新文件。

Python csv模块基础

Python内置的csv模块是处理CSV文件的强大工具。它能够妥善处理各种分隔符、引号规则和换行符，避免了手动解析文本可能遇到的复杂问题。

csv.reader(file_object, delimiter)：用于读取CSV文件，delimiter参数指定输入文件的分隔符。
csv.writer(file_object, delimiter, newline='')：用于写入CSV文件，delimiter参数指定输出文件的分隔符。newline=''是推荐设置，用于防止在Windows系统上写入额外的空行。

解决方案：逐步实现CSV文件转换

我们将构建一个Python脚本，以流式处理的方式（即逐行读取和写入）来完成上述所有需求，从而避免将整个文件加载到内存中，这对于处理大型文件尤其重要。

立即学习“Python免费学习笔记（深入）”；

1. 文件打开与编码处理

首先，我们需要同时打开输入文件和输出文件。输入文件使用其原始编码（UTF-16），而输出文件则指定为目标编码（UTF-8）。使用单个with语句管理多个文件句柄是最佳实践，确保文件在处理完成后被正确关闭。

import csv

input_file_path = 'input.csv'
output_file_path = 'output.csv'
new_header = ['column1', 'column2', 'column3', 'column4', 'column5', 'column6', 'column7', 'column8']

with open(input_file_path, 'r', encoding="utf-16") as read_file, \
     open(output_file_path, 'w', newline='', encoding="utf-8") as write_file:

    reader = csv.reader(read_file, delimiter=",")
    writer = csv.writer(write_file, delimiter=";")

    # 写入新文件头
    writer.writerow(new_header)

    # 后续处理逻辑将在此处添加

登录后复制