如何用Python寻找重复文件并删除的脚本写法

这期内容当中小编将会给大家带来有关如何用python寻找重复文件并删除的脚本写法，文章内容丰富且以专业的角度为大家分析和叙述，阅读完这篇文章希望大家可以有所收获。

在实际生活中，经常会有文件重复的困扰，即同一个文件可能既在A目录中，又在B目录中，更可恶的是，即便是同一个文件，文件名可能还不一样。在文件较少的情况下，该类情况还比较容易处理，最不济就是one by one的人工比较，即便如此，也很难保证你的眼神足够犀利。倘若文件很多，这岂不是个impossible mission？

下面脚本主要包括以下模块:diskwalk,chechsum,find_dupes,delete。其中diskwalk模块是遍历文件的，给定路径，遍历输出该路径下的所有文件。chechsum模块是求文件的md5值。find_dupes导入了diskwalk和chechsum模块，根据md5的值来判断文件是否相同。delete是删除模块。具体如下：

diskwalk.py

import os,sysclass diskwalk(object):        def __init__(self,path):                self.path = path        def paths(self):                path=self.path                path_collection=[]                for dirpath,dirnames,filenames in os.walk(path):                        for file in filenames:                                fullpath=os.path.join(dirpath,file)                                path_collection.append(fullpath)                return path_collectionif __name__ == '__main__':        for file in diskwalk(sys.argv[1]).paths():                print file

chechsum.py

import hashlib,sysdef create_checksum(path):    fp = open(path)    checksum = hashlib.md5()    while True:        buffer = fp.read(8192)        if not buffer:break        checksum.update(buffer)    fp.close()        checksum = checksum.digest()    return checksumif __name__ == '__main__':        create_checksum(sys.argv[1])

find_dupes.py

from checksum import create_checksumfrom diskwalk import diskwalkfrom os.path import getsizeimport sysdef findDupes(path):    record = {}    dup = {}    d = diskwalk(path)    files = d.paths()    for file in files:        compound_key = (getsize(file),create_checksum(file))        if compound_key in record:            dup[file] = record[compound_key]            else:            record[compound_key]=file    return dupif __name__ == '__main__':    for file in  findDupes(sys.argv[1]).items():        print "The duplicate file is %s" % file[0]        print "The original file is %s\n" % file[1]

findDupes函数返回了字典dup，该字典的键是重复的文件，值是原文件。这样就解答了很多人的疑惑，毕竟，你怎么确保你输出的是重复的文件呢？

delete.py

import os,sysclass deletefile(object):    def __init__(self,file):        self.file=file    def delete(self):        print "Deleting %s" % self.file        os.remove(self.file)    def dryrun(self):        print "Dry Run: %s [NOT DELETED]" % self.file    def interactive(self):        answer=raw_input("Do you really want to delete: %s [Y/N]" % self.file)        if answer.upper() == 'Y':            os.remove(self.file)        else:            print "Skiping: %s" % self.file        returnif __name__ == '__main__':    from find_dupes import findDupes        dup=findDupes(sys.argv[1])    for file in dup.iterkeys():        delete=deletefile(file)        #delete.dryrun()          delete.interactive()        #delete.delete()

deletefile类构造了3个函数，实现的都是文件删除功能、其中delete函数是直接删除文件，dryrun函数是试运行，文件并没有删除，interactive函数是交互模式，让用户来确定是否删除。这充分了考虑了客户的需求。

总结：这四个模块已封装好，均可单独使用实现各自的功能。组合起来就可批量删除重复文件，只需输入一个路径。

最后，贴个完整版本的，兼容Python 2.0, 3.0。

#!/usr/bin/python# -*- coding: UTF-8 -*-from __future__ import print_functionimport os, sys, hashlibclass diskwalk(object):    def __init__(self, path):        self.path = path    def paths(self):        path = self.path        files_in_path = []        for dirpath, dirnames, filenames in os.walk(path):            for each_file in filenames:                fullpath = os.path.join(dirpath, each_file)                files_in_path.append(fullpath)        return files_in_pathdef create_checksum(path):    fp = open(path,'rb')    checksum = hashlib.md5()    while True:        buffer = fp.read(8192)        if not buffer: break        checksum.update(buffer)    fp.close()    checksum = checksum.digest()    return checksumdef findDupes(path):    record = {}    dup = {}    d = diskwalk(path)    files = d.paths()    for each_file in files:        compound_key = (os.path.getsize(each_file), create_checksum(each_file))        if compound_key in record:            dup[each_file] = record[compound_key]        else:            record[compound_key] = each_file    return dupclass deletefile(object):    def __init__(self, file_name):        self.file_name = file_name    def delete(self):        print("Deleting %s" % self.file_name)        os.remove(self.file_name)    def dryrun(self):        print("Dry Run: %s [NOT DELETED]" % self.file_name)    def interactive(self):        try:            answer = raw_input("Do you really want to delete: %s [Y/N]" % self.file_name)        except NameError:            answer = input("Do you really want to delete: %s [Y/N]" % self.file_name)        if answer.upper() == 'Y':            os.remove(self.file_name)        else:            print("Skiping: %s" % self.file_name)        returndef main():    directory_to_check = sys.argv[1]    duplicate_file = findDupes(directory_to_check)    for each_file in duplicate_file:        delete = deletefile(each_file)        delete.interactive()if __name__ == '__main__':    main()

其中，第一个参数是待检测的目录。

上述就是小编为大家分享的如何用Python寻找重复文件并删除的脚本写法了，如果刚好有类似的疑惑，不妨参照上述分析进行理解。如果想知道更多相关知识，欢迎关注编程网Python频道。