Python字典去重

在数据处理中，有时候我们会需要对字典中的元素进行去重。Python中提供了多种方法可以轻松实现字典去重操作。

方法一：利用set()函数

Python中的set()函数可以将一个序列转换成一个集合，实现去重的功能。由于字典中的键值对可以看作是一对序列，因此利用set()函数可以实现对字典中键值对的去重。

# 字典去重
dict1 = {'name': 'Mike', 'age': 25, 'city': 'New York'}
dict2 = {'name': 'Tom', 'age': 24, 'city': 'Seattle'}
dict3 = {'name': 'Mike', 'age': 25, 'city': 'New York'}

# 列表去重
dictlist = [dict1, dict2, dict3]
set1 = set()
for item in dictlist:
    set1.add((item['name'], item['age'], item['city']))
print(set1)

# 结果为：{('Mike', 25, 'New York'), ('Tom', 24, 'Seattle')}

以上代码中，我们先将字典中的键值对用元组的形式存储到一个集合set1中。由于集合是无序的，因此去重后的结果也是无序的。如果需要保持原有的顺序，可以将set()函数替换为OrderedDict()函数，并在输出结果时进行遍历。

方法二：利用字典的keys()函数

在Python中，字典中的键是唯一的，因此可以利用字典的keys()函数来实现对字典的去重。由于字典keys()函数返回的是一个不包含重复元素的可迭代对象，因此可以先将字典的键提取出来，然后再转换为列表。

# 字典去重
dict1 = {'name': 'Mike', 'age': 25, 'city': 'New York'}
dict2 = {'name': 'Tom', 'age': 24, 'city': 'Seattle'}
dict3 = {'name': 'Mike', 'age': 25, 'city': 'New York'}

# 列表去重
dictlist = [dict1, dict2, dict3]
keys = []
for dict in dictlist:
    keys.extend(dict.keys())
keys = list(set(keys))
print(keys)

# 结果为：['name', 'age', 'city']

以上代码中，我们先将字典中的键提取出来，然后将其转换为一个集合set1进行去重操作，最终将结果转换为列表进行输出。

方法三：利用字典的values()函数

与字典的keys()函数类似，字典的values()函数也返回一个不包含重复元素的可迭代对象。因此，我们可以先将字典的值提取出来进行去重操作，最后再将其转换为列表进行输出。

# 字典去重
dict1 = {'name': 'Mike', 'age': 25, 'city': 'New York'}
dict2 = {'name': 'Tom', 'age': 24, 'city': 'Seattle'}
dict3 = {'name': 'Mike', 'age': 25, 'city': 'New York'}

# 列表去重
dictlist = [dict1, dict2, dict3]
values = []
for dict in dictlist:
    values.extend(dict.values())
values = list(set(values))
print(values)

# 结果为：['Mike', 24, 25, 'New York', 'Seattle']

以上代码中，我们先将字典中的值提取出来，然后将其转换为一个集合set1进行去重操作，最终将结果转换为列表进行输出。

方法四：利用Python 3.7的新特性

在Python 3.7中，引入了新的字典类型——有序字典(OrderedDict)。有序字典的一个重要特性就是，当两个有序字典的键值对相同时，它们会被视为相等的，因此可以通过将字典转换成有序字典来实现对字典的去重操作。

# 字典去重
dict1 = {'name': 'Mike', 'age': 25, 'city': 'New York'}
dict2 = {'name': 'Tom', 'age': 24, 'city': 'Seattle'}
dict3 = {'name': 'Mike', 'age': 25, 'city': 'New York'}

# 列表去重
dictlist = [dict1, dict2, dict3]
from collections import OrderedDict
newlist = list(OrderedDict.fromkeys(tuple(sorted(d.items())) for d in dictlist))
result = [dict(i) for i in newlist]
print(result)

# 结果为：[{'name': 'Mike', 'age': 25, 'city': 'New York'}, {'name': 'Tom', 'age': 24, 'city': 'Seattle'}]

以上代码中，我们先将每个字典中的键值对按照键的顺序进行排序，并以元组的形式存储。然后将这些元组存储到有序字典中，利用字典不重复的特性可以实现去重。最后将有序字典转换为列表进行输出。