def remove_duplicates_from_list(lst):
    """使用集合去除列表中的重复元素，并保留原始顺序"""
    seen = set()
    unique_list = []
    for item in lst:
        if item not in seen:
            seen.add(item)
            unique_list.append(item)
    return unique_list
 
# 示例
my_list = [1, 2, 2, 3, 4, 4, 5]
print(remove_duplicates_from_list(my_list))

pip install opencv-python

import cv2
import numpy as np
from os import listdir
from os.path import isfile, join
 
def ssim(img1, img2):
    """计算两张图像的SSIM"""
    _, score = cv2.compareHist(cv2.calcHist([img1], [0], None, [256], [0, 256]), cv2.calcHist([img2], [0], None, [256], [0, 256]), cv2.HISTCMP_CORREL)
    # 注意：这里我使用了直方图比较作为示例，因为SSIM通常不是通过比较直方图来计算的。
    # 真正的SSIM计算需要使用cv2.SSIM()函数，但这里为了简化示例，我们使用直方图相似度。
    return score
 
def remove_similar_images(image_paths, threshold=0.9):
    """删除相似度超过阈值的图像"""
    images = {path: cv2.imread(path, cv2.IMREAD_GRAYSCALE) for path in image_paths if isfile(path)}
    to_remove = set()
 
    for i, (img1_path, img1) in enumerate(images.items()):
        for j, (img2_path, img2) in enumerate(images.items()):
            if i != j:
                sim = ssim(img1, img2)
                if sim > threshold:
                    to_remove.add(img2_path)
 
    # 只保留未标记为删除的图像的路径
    unique_images = [img_path for img_path in image_paths if img_path not in to_remove]
    return unique_images
 
# 假设你有一个包含图像文件路径的列表
image_folder = 'path_to_images'
image_paths = [join(image_folder, f) for f in listdir(image_folder) if isfile(join(image_folder, f)) and f.endswith(('.png', '.jpg'))]
 
# 调用函数并打印结果
unique_images = remove_similar_images(image_paths, threshold=0.9)
print(unique_images)
 
# 注意：上面的ssim函数实际上使用的是直方图相似度作为示例，
# 真正的SSIM计算应该使用cv2.SSIM()函数，但该函数需要两张图像大小相同，并且通常用于比较图像块。
# 对于全图比较，你可能需要先将图像缩放到相同大小，然后可能需要在多个尺度上计算SSIM并取平均值。