Улучшение поиска одинаковых файлов и папок

[Pingvin1]

Первоисточник: https://forum.ubuntu.ru/index.php?topic=44246.15
Я увеличил скорость работы в 39 раз, сделал выборку из середины и потому решил опубликовать: поиск одинаковых каталогов и файлов, вдруг кому нибудь понадобиться, как мне
Вывод с 1-ой строки 20-ти строк, повторяющих подкаталогов и файлов, команды отличаются только тем, что в 2-х местах "-type f" заменён на "-type d".
Если опять запускать, то не обязательна команда определение начального каталога до "&&".
Поиск первых 20-ти каталогов с одинаковыми именами, начиная с первого (сначала надо искать и удалять каталоги, потому что в одинаковых каталогах часто одинаковые файлы):

Код: [Выделить]

$ cd /home/mak/Документы/my_Catalog/Для_поиска_в_частых/my_Catalog_2 && find * -type d -printf '%f\n' | sort | uniq -d | xargs -i find * -type d -name {} 2>/dev/null | tail -n +1 | head -n 20
Поиск первых 20-ти файлов с одинаковыми именами, начиная с первого:

Код: [Выделить]

$ cd /home/mak/Документы/my_Catalog/Для_поиска_в_частых/my_Catalog_2 && find * -type f -printf '%f\n' | sort | uniq -d | xargs -i find * -type f -name {} 2>/dev/null | tail -n +1 | head -n 20

[qpdb]

Тема безусловно „благодатная😈”, как говорил один юморист… Можно развивать и модифицировать бесконечно и это полезно будет и правильно❗ А также будет о чём поговорить  … 

Код: [Выделить]

QQ=(/tmp/$(date +%H%M%S)_cp);mkdir $QQ;find . -type f -iname "*.РАСШИРЕНИЕ" -exec bash \
-c 'cp "$0" "`echo $0|sed -r "s:(.*)/:\1/$(date +%s%4N)∑¢∑_:;s:(.*)/.{8}:\1\/:"`"' \
{} \; 2>/dev/null;sleep 5;find . -type f -iname "*∑¢∑*" -exec mv -t $QQ  {} \; 2>/dev/nul
Найти и скопировать файлы с определённым расширением, файлы с одинаковыми именами будут переименованы.
В соответствующей директории /tmp будут файлы вида:

Код: [Выделить]

833758∑¢∑_0944_TMP_TMP.txt
833821∑¢∑_1435_TMP_TMP.txt
Вместо „∑¢∑” можно придумать любое другое что-то редкое…

2024 Feb 04; 09:47 AM

[ALiEN]

поиск одинаковых каталогов и файлов,

А fdupes не подходит?

[F12]

FDupes uses md5sums and then a byte by byte comparison to find duplicate
 files within a set of directories.

- для поиска дубликатов сначала использует их MD5 суммы, а затем ещё и побайтно сравнивает сами файлы

   ... интересно, и сколько же времени понадобится этой проге для того чтоб отыскать дубликаты среди множества файлов самого разного размера, скажем, от нескольких мегабайт и более, общим объёмом в несколько сот гигабайт, а то и в несколько терабайт?

      ... к тому же поговаривают что fdupes очень плохо ищет дубликаты изображений

Как по мне, это скорее афигенный стресс-тест для проца и диска 

[qpdb]

Ну с дубликатами понятно:

(Нажмите, чтобы показать/скрыть)

A duplicate file is a copy of a file on your computer or external disk that may be stored in the same or in another folder. Duplicate files have absolutely identical content, size, and extensions but might have different file names.

А вот словосочетание «одинаковые файлы» как-то неоднозначно😞… Есть отдельное слово (понятие) для:„Файлы с одинаковыми именами”,- в русском языке❓ Не знаю, но мне такое неизвестно…
2024 Feb 04; 07:29 PM