主要介绍了Python实现检测文件的MD5值来查找重复文件案例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

linux下查找重复文件命令，亲测有效，网上的都是错误的，适合无网络的情况下使用。

自己最真实的需求，从大学时期产生的各种文件一直被我存着，重复文件就再所难免。已经存在几款查找重复工具可以满足我的基本需求，但是我的个别需求却无法满足，不得不让我重新造轮子，现在将我实现的小工具分享给大家。 我认为具有如下优点 * 跨平台（支持 Windows, Linux, Mac） * 可定制（若你会点编程可轻松扩展你的需求） 工具特性 * 跳过 . 开头目录，但会打印出来这些路径 * 跳过大小为 0 的文件 * 打印后缀为 rar zip iso tar gz 的文件，主要是担心解压后会产生重复文件，提醒你关注一下 * 通过比对文件内容 md5 值判定是否重复，坚信内容相同文件就相同 * 多个相同文件一起打印，相同文件有序打印，整体有序打印，便于查看 备注 ####point#### 标识开始打印 . 开头目录 ####compress#### 标识开始打印后缀为 rar zip iso tar gz 的文件 使用（均在各系统命令行下执行，在工具执行完成后打开 output.txt 文件查看打印） Windows windows.exe -path=F:\panshiqu 1>output.txt 2>&1 Linux ./linux -path=/home/panshiqu > output.txt Mac ./mac -path=/home/panshiqu > output.txt 提醒 你可在分析打印后大致推测出那两个文件夹可能相同，这里推荐你使用 Beyond Compare 比对两个庞大的文件夹是否相同，记得取消对勾 Session => Session Settings => Comparison => Compare timestamps 用于不比对时间戳

软件介绍: Duplicate Cleaner Pro能够根据你的设定，创建搜索规则来查找磁盘中存在的重复文件，即设置你需要查找的文件，添加扫描路径，希望在哪查找文件，可只查找图片或音频，通过文件精确内容匹配，根据文件相似内容匹配查找文件。支持扫描ZIP文件(将视ZIP文件为一个目录)。搜索出的重复文件都会分组以不同的颜色表示， 比较分明，要是重复文件很多的话，其自带的文件选择助手则相当方便，可以限定多种多样的选择标准。图像文件还可以方便的预 览，打开图像预览工具后，点击每一个文件就会实时预览。已保护：为确保数据安全，此文件夹中所有文件不会被删除。主目录：仅寻找与此文件夹匹配的重复文件。扫描本级：在此文件夹中扫描重复文件。搜索唯一项目：从此文件夹中显示唯一文件。安装后根据系统复制 license50.dll 到安装目录，输入任意注册码即可

FindDupFile 会搜你指定的目录及其子目录，列出所有内容完全相同的文件（文件名可能不同），然后由用户选择删除重复的文件。 FindDupFile 虽然体积仅有100多KB，但功能很强，不但搜索速度相当迅速，而且能区出所有内容完全相同的文件（文件名可能不同），然后由用户选择删除重复文件。 从此，即使没有良好的习惯，你的硬盘空间也可以充分利用起来了！

查找重复文件软件