iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > Python >Python实现清除文件夹中重复视频
  • 840
分享到

Python实现清除文件夹中重复视频

2024-04-02 19:04:59 840人浏览 泡泡鱼

Python 官方文档:入门教程 => 点击学习

摘要

目录前言1.科普二进制文件摘要算法(MD5)shutil模块2.视频清除视频全在一个文件夹里视频在不同的文件夹里3.总结前言 在早期学python的时候,买了一本《Python编程快

前言

在早期学python的时候,买了一本《Python编程快速上手-让繁琐工作自动化》。

这本书里面讲得都比较基础,不过却非常的实用。

估计从书名大家伙们就应该能体会到。

本次根据书中的「读写文件」章节内容,实现一个简单又实用的小操作。

涉及到的模块有os、hashlib、shutil。

利用这三个模块实现对文件夹中的重复视频进行清除,实现文件夹中无重复文件情况发生。

1.科普

在进行代码操作前,简单对相关知识做个简单的学习

毕竟我们不能停留在表象,要去明白它们的原理。

这样才能做到举一反三,提高学习效率。

二进制文件

二进制文件是以文本的二进制形式存储在计算机中。

用户一般不能直接读取它们,需要通过相应的软件才能将其显示出来。

二进制文件一般是可执行程序、图形、图像、声音等等。

本次实现的就是图像类型的文件,即视频!

摘要算法(MD5)

摘要算法又称哈希算法、散列算法。

它通过一个函数,把任意长度的数据转换为一个长度固定的数据串(通常用16进制的字符串表示)。

即通过摘要函数对任意长度的数据(data)计算出固定长度的摘要(digest)。

目的是为了发现原始数据是否被人篡改过。

摘要算法之所以能指出数据是否被篡改过,是因为摘要函数是一个单向函数,计算f(data)很容易,但通过digest反推data却非常困难。

而且,对原始数据做一个bit的修改,都会导致计算出的摘要完全不同。

MD5是最常见的摘要算法,速度很快,生成结果是固定的128bit字节,通常用一个32位的16进制字符串表示。

摘要算法在很多地方都有广泛的应用。

不过它并不是加密算法,不能用于加密(因为无法通过摘要反推明文),只能用于防篡改。

它的单向计算特性决定了可以在不存储明文口令的情况下验证用户口令。

其中Python的hashlib提供了常见的摘要算法,如MD5,SHA1等等。

本次文件夹中的视频就是使用MD5摘要算法,得到视频的摘要。

相当于给了视频一个ID属性,具备唯一性。

那么通过比较视频的摘要,便可以清除重复的视频。

我们知道重复视频的文件大小肯定是一样的,那么通过文件大小应该也是可以清除重复的视频。

只不过有时也会有不重复的视频大小一样的,毕竟视频大小只是个物理属性,不具备唯一性。

shutil模块

shutil是高级的文件,文件夹,压缩包处理模块。

shutil.copyfile(old, new),拷贝文件函数(就是复制的意思)。

2.视频清除

以之前自动化获取的抖音视频为例。

共183个抖音视频。

视频全在一个文件夹里

我新建了两种文件夹,一种视频全在一个文件夹里的。

这种使用视频大小作为筛选比较。

清除重复视频代码如下。

import os
import shutil

# 递归文件夹创建
folder_path = 'F:/video/douyin_11'
os.makedirs(folder_path)
# 获取文件夹里的文件名字符串列表
filenames = os.listdir('F:\\video\\douyin_1')

(size_list, name_list) = ([], [])
for name in filenames:
    # 获取文件的路径
    file_path = 'F:\\video\\douyin_1\\' + name
    # 获取文件的大小
    file_size = os.path.getsize(file_path)
    # 如果不是重复视频的话,大小应该和列表中数据不一样
    if file_size not in size_list:
        # 获取不重复视频的大小
        size_list.append(file_size)
        # 获取不重复视频的路径
        name_list.append(file_path)

# 使用shutil模块的copyfile函数,复制文件到新的文件夹中去
num = 0
for filename in name_list:
    num += 1
    oldname= filename
    newname= 'F:\\video\\douyin_11\\' + str(num) + '.mp4'
    shutil.copyfile(oldname, newname)

最后在新的文件夹中生成了183个视频文件。

说明成功清除了重复的视频文件。

视频在不同的文件夹里

另一种视频分为几个部分,分别在不同文件夹下。

与上面不同的是,需要遍历文件夹,然后再去遍历文件夹中的文件。

另外使用摘要算法(MD5),生成视频的特有ID,以此作为标准。

清除重复视频代码如下。

import os
import shutil
import hashlib


# 摘要算法(MD5)实现视频摘要获取
def getmd5(file_path):
    # 判断文件路径是否存在及文件是否为一个文件,意思应该是文件夹就会报错
    if not os.path.isfile(file_path):
        return
    # rb,以二进制读模式打开
    vediofile = open(file_path, 'rb')
    md5 = hashlib.md5()
    md5.update(vediofile.read())
    vediofile.close()
    # 返回视频文件的MD5值
    return md5.hexdigest()

# 递归文件夹创建
folder_path = "F:/video/douyin_22"
os.makedirs(folder_path)
# 获取文件夹里的文件夹名字符串列表
foldernames = os.listdir('F:\\video\\douyin_2')

(value_list, name_list) = ([], [])
for folder in foldernames:
    # 获取文件夹的路径
    folder_name = 'F:\\video\\douyin_2\\' + folder
    # 获取文件夹里的文件名字符串列表
    file_names = os.listdir(folder_name)
    for file_name in file_names:
        # 获取文件的路径
        file_path = folder_name + '\\' + file_name
        # 获取文件的MD5值
        value = getmd5(file_path)
        # 如果不是重复视频的话,MD5值应和列表中数据不一样
        if value not in value_list:
            # 获取不重复视频的MD5值
            value_list.append(value)
            # 获取不重复视频的路径
            name_list.append(file_path)

# 使用shutil模块的copyfile函数,复制文件到新的文件夹中去
num = 0
for filename in name_list:
    num += 1
    oldname= filename
    newname= 'F:\\video\\douyin_22\\' + str(num) + '.mp4'
    shutil.copyfile(oldname, newname)

最后也在新的文件夹中生成了183个视频文件。

说明也成功清除了重复的视频文件。

3.总结

试想一下如果你手动去删除这些重复的视频,该有多浪费时间。

这里也许你就能感受到了编程的乐趣了。

当然其他文件,类似文本文档、图片、音频,同样可以利用Python进行自动化操作。

到此这篇关于Python实现清除文件夹中重复视频的文章就介绍到这了,更多相关Python清除重复视频内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

--结束END--

本文标题: Python实现清除文件夹中重复视频

本文链接: https://www.lsjlt.com/news/118330.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • Python实现清除文件夹中重复视频
    目录前言1.科普二进制文件摘要算法(MD5)shutil模块2.视频清除视频全在一个文件夹里视频在不同的文件夹里3.总结前言 在早期学Python的时候,买了一本《Python编程快...
    99+
    2024-04-02
  • Python实现删除重复视频文件的方法详解
    目录Python自动化办公之删除重复的视频文件获取所有文件路径获取所有重复文件,添加到一个列表删除重复文件Python自动化办公之删除重复的视频文件 获取所有文件路径 import ...
    99+
    2024-04-02
  • python实现自动清理文件夹旧文件
    本文实例为大家分享了Android九宫格图片展示的具体代码,供大家参考,具体内容如下 由于程序一直在不停地存图,因此需要监测图片文件夹的大小,一旦超过指定大小则删除一部分最早的图片。...
    99+
    2024-04-02
  • 从树中清除仅包含空文件夹的文件夹
    php小编小新在这里为大家介绍一个有关文件夹操作的小技巧——如何从树中清除仅包含空文件夹的文件夹。在日常的文件管理中,我们可能会遇到一些只包含空文件夹的文件夹,这些文件夹占用了存储空间...
    99+
    2024-02-09
  • 使用python怎么删除文件夹中的重复图片
    这篇文章给大家介绍使用python怎么删除文件夹中的重复图片,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。第一部分:判断两张图片是否相同要查找重复的图片,必然绕不开判断两张图片是否相同。判断两张图片简单呀!图片可以看成...
    99+
    2023-06-15
  • python编程实现清理微信重复缓存文件
    目录glob 模块glob方法zlib.crc32去重复总结文 | 某某白米饭 来源:Python 技术「ID: pythonall」 微信和 QQ 都有一个存放缓存文件的...
    99+
    2024-04-02
  • Python实现删除重复文件的示例代码
    此程序主要是针对某个目录下的全部文件进行筛选,会删除重复的文件。 原理很简单,会计算每个文件的哈希,将哈希存入一个字典,文件名对应哈希。 import os import hashl...
    99+
    2023-02-14
    Python删除重复文件 Python删除文件 Python重复文件
  • Python实现清理重复文件功能的示例代码
    目录前置查找、删除重复文件GUI制作GUI界面设计逻辑设计效果展示在电脑上或多或少的存在一些重复文件,体积小的倒没什么,如果体积大的就很占内存了,而如果自己一个一个查看文件是否重复,...
    99+
    2024-04-02
  • 详解如何使用Python实现删除重复文件
    目录Python自动化办公之删除重复文件思路介绍源码解说知识拓展Python自动化办公之删除重复文件 思路介绍 两层判断: 1.先判断文件大小是否为相同,大小不同则不是重复文件,予以...
    99+
    2024-04-02
  • python实现多个视频文件合成画中画效果
    本文实例为大家分享了多个视频文件合成画中画效果的python代码,供大家参考,具体内容如下 Step 1 从视频中分离出音频(MP4->mp3) def separateM...
    99+
    2024-04-02
  • Java实现文件及文件夹的删除
    本文实例为大家分享了Java实现文件及文件夹的删除,供大家参考,具体内容如下 1、删除单个文件 public static boolean deleteFile(String fil...
    99+
    2024-04-02
  • vue如何实现录制视频并压缩视频文件
    这篇“vue如何实现录制视频并压缩视频文件”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“vue如何实现录制视频并压缩视频文件...
    99+
    2023-07-04
  • 基于python实现去除视频的水印
    我们再搬运视频的时候常常会遇到视频有水印的问题 如下 下面就通过python来实现对视频水印的去除 在pycharm新建一个项目,创建image,video目录其他不用 必要条件 在终端下载相关依赖包 pip install moviep...
    99+
    2023-09-14
    python 音视频 numpy
  • 基于Python实现视频去重小工具
    同级目录下新建dup_video import json import os import shutil import cv2 import imagehash from PIL ...
    99+
    2023-03-24
    Python实现视频去重工具 Python视频去重 Python视频
  • Java 实现文件复制及文件夹复制
    在Java中,有多种方法可以实现文件的复制。以下是几种常用的方式: 使用字节流进行复制: 通过FileInputStream和FileOutputStream分别创建源文件和目标文件的输入输出流,然后通过循环读取源文件内容,并将数据写入目标...
    99+
    2023-09-26
    java 开发语言
  • Win8.1删除这台电脑中视频/文档/下载等六个文件夹的方法
     故障现象:  计算机”正式更名为“这台电脑”,当我们双击打开“这台电脑”后,也会很明显得发现另外一些变化:Windows 8.1 默认将视频、图片、文档、下载...
    99+
    2023-06-03
    Win8 文档 视频 电脑 文件夹 Win8.1 方法
  • 如何在 Python 中删除文件或文件夹?
    问: 如何删除文件或文件夹? 答1: huntsbot.com汇聚了国内外优秀的初创产品创意,可按收入、分类等筛选,希望这些产品与实践经验能给您带来灵感。 os.remove() 删除一个文件。...
    99+
    2023-09-05
    python 开发语言 iot c++ ide
  • Python利用shutil模块实现文件夹的复制删除与裁剪
    目录文件夹的复制文件夹的删除文件夹的裁剪(移动、重命名)文件夹的复制 文件夹复制使用的函数 导入包与模块 `from shutil import copytree 使用方法: cop...
    99+
    2024-04-02
  • Java实现文件夹中内容定时删除
    今天我和大家分享一下用Java实现对一个文件夹中内容定时删除。 让我们来看一下对一个文件夹中内容定时删除的功能。 对于文件的删除就是用File类中的delete()方法删除当前Fil...
    99+
    2024-04-02
  • Java实现在Word中嵌入多媒体(视频、音频)文件
    目录Jar导入(2种方法) 嵌入多媒体文件注意事项Word中可将Office(Word/Excel/PowerPoint)、PDF、txt等文件作为OLE对象插入到文档中,双击该对象...
    99+
    2024-04-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作