Как найти дубликаты файлов : Linux

OlegON · █ 03.10.2016 10:57

Есть простейший и достаточно шустрый вариант поиска файлов-дубликатов с помощью программы fdupes, однако, можно обойтись и штатным набором утилит

Код:

find -not -empty -type f -printf "%s\n" | sort -rn | uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate

вышеуказанная команда выбирает одинаковые по размеру файлы, а затем считает их MD5, после чего выводит одинаковые по контрольной сумме файлы

OlegON · █ 07.04.2019 10:06

Открыл для себя еще одну утилиту для поиска дубликатов, как-то все время пользовался fdupes и не заморачивался. Однако, чего сильно ей не хватало - это возможности обрабатывать несколько директорий и, с чего начался ее поиск - создание симлинков/хардлинков на дубликаты. Нашел. Выяснилось, что ищет она куда быстрее fdupes, может удалять дубликаты, а может эти линки создавать.
Вот пример запуска

Код:

rdfind -makesymlinks true -makeresultsfile false директория директория2 директория3

в этом примере на дубликаты создаются симлинки (использую для Хранилища форума, чтобы видеть дубликаты при обходе директорий), можете сначала -n true в опции добавить, чтобы посмотреть, что она делать собирается (никаких действий при этом на самом деле не производится)