03.10.2016 10:57
OlegON
 
Есть простейший и достаточно шустрый вариант поиска файлов-дубликатов с помощью программы fdupes, однако, можно обойтись и штатным набором утилит
Код:
find -not -empty -type f -printf "%s\n" | sort -rn | uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate
вышеуказанная команда выбирает одинаковые по размеру файлы, а затем считает их MD5, после чего выводит одинаковые по контрольной сумме файлы
07.04.2019 10:06
OlegON
 
Открыл для себя еще одну утилиту для поиска дубликатов, как-то все время пользовался fdupes и не заморачивался. Однако, чего сильно ей не хватало - это возможности обрабатывать несколько директорий и, с чего начался ее поиск - создание симлинков/хардлинков на дубликаты. Нашел. Выяснилось, что ищет она куда быстрее fdupes, может удалять дубликаты, а может эти линки создавать.
Вот пример запуска
Код:
rdfind -makesymlinks true -makeresultsfile false директория директория2 директория3
в этом примере на дубликаты создаются симлинки (использую для Хранилища форума, чтобы видеть дубликаты при обходе директорий), можете сначала -n true в опции добавить, чтобы посмотреть, что она делать собирается (никаких действий при этом на самом деле не производится)

Форум на базе vBulletin®
Copyright © Jelsoft Enterprises Ltd.
В случае заимствования информации гипертекстовая индексируемая ссылка на Форум обязательна.