Python 官方文档:入门教程 => 点击学习
今天就跟大家聊聊有关python中怎么查找重复文件,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。Python查找重复文件主要思路如下: 查找同命文件 利用了crc32,先检查出同样尺
今天就跟大家聊聊有关python中怎么查找重复文件,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。
Python查找重复文件主要思路如下:
查找同命文件
利用了crc32,先检查出同样尺寸的文件,再计算crc32,得出相同的文件名列表。
下面是转载的一个Python查找重复文件的代码,虽然可以满足要求,但是在查找大量文件时候,速度很慢,我抽空把它调优。
#!/usr/bin/env python #coding=utf-8 import binascii, os filesizes = {} samefiles = [] def filesize(path): if os.path.isdir(path): files = os.listdir(path) for file in files: filesize(path + "/" + file) else: size = os.path.getsize(path) if not filesizes.has_key(size): filesizes[size] = [] filesizes[size].append(path) def filecrc(files): filecrcs = {} for file in files: f = open(file, "r") 23 crc = binascii.crc32(f.read()) 24 f.close() if not filecrcs.has_key(crc): filecrcs[crc] = [] filecrcs[crc].append(file) for filecrclist in filecrcs.values(): if len(filecrclist) > 1: samefiles.append(filecrclist) if __name__ == '__main__': path = r"J:\My Work" filesize(path) for sizesamefilelist in filesizes.values(): if len(sizesamefilelist) > 1: filecrc(sizesamefilelist) for samfile in samefiles: print "****** same file group ******" for file in samefile: print file
看完上述内容,你们对Python中怎么查找重复文件有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注编程网Python频道,感谢大家的支持。
--结束END--
本文标题: Python中怎么查找重复文件
本文链接: https://www.lsjlt.com/news/290669.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑,方便收藏和打印~
2024-03-01
2024-03-01
2024-03-01
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0