Python文本清洗：高效移除特殊字符与词频统计教程

admin 百科 2025-12-12 13

Python文本清洗：高效移除特殊字符与词频统计教程-第2张图片-佛山资讯网

本教程详细介绍了如何使用python的`re`模块高效地从文本中移除特殊字符，并在此基础上进行词频统计。文章通过具体代码示例，演示了正则表达式`re.sub()`函数的应用，以及如何结合`collections.counter`实现完整的文本预处理流程，帮助读者掌握文本数据清洗的关键技术。

在进行文本数据分析时，一个常见的预处理步骤是清洗文本，去除其中不必要的特殊字符，以便后续的词法分析和统计。例如，我们需要将“operations, along with the additional methods described below.”这样的输入转换为['operations', 'along', 'with', 'the', 'additional', 'methods', 'described', 'below']的列表，并最终统计每个词的出现频率。

直接使用字符串的replace()方法在循环中处理特殊字符时，容易遇到逻辑上的问题，导致结果不完整或错误。例如，对一个词反复替换可能会导致意外的副本或遗漏。为了高效且准确地完成这项任务，Python的re模块（正则表达式模块）提供了强大的功能。

使用re模块移除特殊字符

re模块中的sub()函数是移除或替换字符串中匹配正则表达式模式的部分的理想工具。

re.sub()函数详解：

立即学习“Python免费学习笔记（深入）”；

re.sub(pattern, repl, string, count=0, flags=0)

pattern: 要匹配的正则表达式模式。
repl: 替换匹配到的字符串。可以是一个字符串，也可以是一个函数。
string: 要搜索和替换的原始字符串。
count: 最大替换次数。默认为0，表示替换所有匹配项。
flags: 正则表达式标志，如re.IGNORECASE等。

实现步骤：

导入re模块： 引入Python的正则表达式库。
定义特殊字符模式： 使用正则表达式来匹配所有需要移除的特殊字符。例如，[!,.?;:#$%^&*(),]可以匹配括号中列出的所有字符。为了确保这些字符被当作字面量而不是正则表达式的特殊符号，最好将它们放在字符集中（[]）内。同时，使用原始字符串（r前缀）可以避免反斜杠的转义问题。
遍历并替换： 遍历文本中的每个词，使用re.sub()将匹配到的特殊字符替换为空字符串。

示例代码：

import re

def clean_text_and_tokenize(text_input):
    """
    清洗文本，移除特殊字符，并将其分割成单词列表。

    Args:
        text_input (str): 待处理的原始文本。

    Returns:
        list: 清洗并分割后的单词列表。
    """
    # 将文本转换为小写并分割成单词列表
    original_list = text_input.lower().split()

    # 定义要移除的特殊字符的正则表达式模式
    # 方括号内的字符会被匹配，r前缀表示这是一个原始字符串
    special_chars_pattern = r"[!,.?;:#$%^&*(),]"

    cleaned_words = []
    for word in original_list:
        # 使用re.sub()将单词中的特殊字符替换为空字符串
        cleaned_word = re.sub(special_chars_pattern, "", word)
        # 确保替换后不是空字符串才添加到列表中（例如，如果原始词是"!"）
        if cleaned_word:
            cleaned_words.append(cleaned_word)

    return cleaned_words

# 示例输入
input_text = 'Strings implement all of the common sequence operations, along with the additional methods described below.'
expected_output = ['strings', 'implement', 'all', 'of', 'the', 'common', 'sequence', 'operations', 'along', 'with', 'the', 'additional', 'methods', 'described', 'below']

# 执行清洗和分词
result_list = clean_text_and_tokenize(input_text)
print(f"原始输入: '{input_text}'")
print(f"清洗后的单词列表: {result_list}")
# 验证结果
assert result_list == expected_output

登录后复制

代码解析：

text_input.lower().split(): 首先将整个输入文本转换为小写，然后使用split()方法按空格分割成单词列表。这是文本预处理的常见步骤，有助于后续的词频统计不区分大小写。
special_chars_pattern = r"[!,.?;:#$%^&*(),]": 定义了一个正则表达式模式。r""表示这是一个原始字符串，可以避免反斜杠的转义问题。方括号[]在正则表达式中表示一个字符集，意味着匹配其中任何一个字符。
re.sub(special_chars_pattern, "", word): 对于original_list中的每一个word，re.sub()函数会查找所有匹配special_chars_pattern的子字符串，并将其替换为第二个参数""（空字符串），从而达到移除特殊字符的目的。
if cleaned_word:: 这是一个重要的检查，防止如果一个词本身就是特殊字符（例如"!"），在移除后变成空字符串被添加到结果列表中。