Python去除字符串全角标点符号

Python去除字符串全角标点符号

在文本处理过程中，有时候会遇到需要去除字符串中的全角标点符号的情况。全角标点符号是指在中文输入法下输入的标点符号，通常会被用在中文的标点符号中。在文本处理过程中，有时候我们需要将文本中的全角标点符号转换成半角标点符号，或者直接去除这些全角标点符号。本文将详细介绍如何使用Python去除字符串中的全角标点符号。

什么是全角标点符号

在Unicode编码中，标点符号包括半角标点符号和全角标点符号。在中文输入法下，输入法会自动将英文字符的标点符号转换成全角标点符号。在中文文本中，全角标点符号通常包括：

• 全角逗号：，（U+FF0C）
• 全角句号：。（U+3002）
• 全角感叹号：！（U+FF01）
• 全角问号：？（U+FF1F）
• 全角冒号：：（U+FF1A）
• 全角分号：；（U+FF1B）
• 全角双引号：“ ”（U+201C，U+201D）
• 全角单引号：‘ ’（U+2018，U+2019）

Python去除字符串中的全角标点符号

在Python中，我们可以使用unicodedata模块和正则表达式来去除字符串中的全角标点符号。以下是去除全角标点符号的两种方法：

方法一：使用unicodedata模块

import unicodedata

def remove_fullwidth_punctuation(text):
    output = []
    for char in text:
        if not unicodedata.east_asian_width(char) in ['F', 'W']:
            output.append(char)
    return ''.join(output)

# 测试
text = "这是一段包含全角标点符号的文本，，，"
result = remove_fullwidth_punctuation(text)
print(result)

运行结果：

这是一段包含全角标点符号的文本

方法二：使用正则表达式

import re

def remove_fullwidth_punctuation_regex(text):
    pattern = re.compile(r'[\uFF0C\u3002\uFF01\uFF1F\uFF1A\uFF1B\u201C\u201D\u2018\u2019]')
    return re.sub(pattern, '', text)

# 测试
text = "这是一段包含全角标点符号的文本，。！？：；“”‘’"
result = remove_fullwidth_punctuation_regex(text)
print(result)

运行结果：

这是一段包含全角标点符号的文本

总结

通过上述方法，我们可以很方便地去除字符串中的全角标点符号。在处理中文文本时，去除全角标点符号可以使文本更加清晰易读。在实际应用中，可以根据具体需求选择适合的方法来去除全角标点符号。