VB.net 2010 视频教程 VB.net 2010 视频教程 python基础视频教程
SQL Server 2008 视频教程 c#入门经典教程 Visual Basic从门到精通视频教程
当前位置:
首页 > temp > python入门教程 >
  • 1.10 删除序列中的重复元素并保持顺序

问题描述

怎样在一个序列上面保持元素顺序的同时消除重复的值?

解决方案

如果序列上的值都是hashable类型(简言之,python中不可变对象就是hashable类型的,具体介绍参考官方文档),那么可以很简单的利用集合或者生成器解决这个问题:

def dedupe(items):
    seen = set()
    for item in items:
        if item not in seen:
            yield item
            seen.add(item)


a = [1, 5, 2, 1, 9, 1, 5, 10]
res = list(dedupe(a))
# res = [1, 5, 2, 9, 10]

这个方法仅在序列元素为hashable时可用。如果你想消除元素不可哈希的序列(比如dict)中重复元素的话,需要将上述代码稍作修改:

def dedupe(items, key=None):
	"""
	这里的key参数指定了一个函数,将items中元素转化成了hashable类型。
	"""
    seen = set()
    for item in items:
        val = item if key is None else key(item)
        if val not in seen:
            yield item
            seen.add(val)
    return seen


a = [{'x': 1, 'y': 2}, {'x': 1, 'y': 3}, {'x': 1, 'y': 2}, {'x': 2, 'y': 4}]
res = list(dedupe(a, key=lambda d: (d['x'], d['y'])))
# res = [{'x': 1, 'y': 2}, {'x': 1, 'y': 3}, {'x': 2, 'y': 4}]
re = list(dedupe(a, key=lambda d: (d['x'])))
# re = [{'x': 1, 'y': 2}, {'x': 2, 'y': 4}]

讨论

如果你只想消除重复元素,通常可以简单的构造一个集合。比如:

a = [1, 5, 2, 1, 9, 1, 5, 10]
res = set(a)
# res = {1, 2, 5, 9, 10}

然而这种方法不能维护元素的顺序。

在本节中,我们使用了生成器函数让我们的函数更加通用,不仅仅是局限于列表处理。比如,如果你想读取一个文件,消除重复行,你可以这样做:

with open(file, 'r') as f:
	for line in dedupe(f):
		...

上述key函数参数模仿了sorted(),min()max()等内置函数的相似功能。可以参考1.8和1.13小节了解更多。


原文:https://www.cnblogs.com/L999C/p/15729443.html


相关教程