Сравнение папок и добавление файлов

[Nick222]

Всем привет

Как лучше сделать следующее на Xubuntu 18.10:

1) Есть папка большого размера с большим количеством файлов.
2) Есть относительно небольшая папка с относительно небольшим количеством файлов.

Нужно примерно раз в неделю переносить из папки (2) в папку (1) новые файлы (имена и даты могут быть произвольными - нужно сверять контрольные суммы), а дублирующиеся файлы из папки (2) удалять.

Проблема в том, что прямое сравнение занимает много времени и ресурсов компьютера, так что я ориентировался на создание файла контрольных сумм для большой папки (1) и затем сравнение файлов из папки (2) с этим файлом контрольных сумм.

Но единой такой программы я не нашёл (только под Wine), соответственно, нужно это как-то делать через имеющиеся утилиты и скрипты.

Крайне желательно рожать на выходе список скопированных и стёртых файлов.

Возможно ли как-то всё это сделать, чтобы данные регулярные действия не сильно грузили компьютер?

Спасибо

[Dzhoser]

Ну я не знаю насколько важен перенос задачу можно решить без переноса
В терминале переходим в папку с файлами

Код: [Выделить]

сd /папка1 У Вас будет свой путь
Создаем контрольный файл

Код: [Выделить]

md5sum * > md5sum.txtПолучаем файл с эталонными контрольными суммами md5sum.txt
теперь для проверки используем команду

Код: [Выделить]

md5sum -c md5sum.txt В терминале будет отображена информация о целостности или повреждении файлов.
Минус данного метода в том что новые файлы не занесенные в эталонный список проверятся не будут.
Для параноиков контрольный файл с эталонными суммами можно держать на отчуждаемом носителе.

[Nick222]

Спасибо, но главная проблема именно в добавлении не повторяющихся файлов...

[Azure]

Немного непонятно объяснили суть. Берем произвольный файл из папки2, ищем его контрольную сумму среди файлов папки1, если не находим то считаем его "новым" и переносим в папку1. Если находим такую же сумму то просто удаляем его из папки2. В итоге папка2 пустая. Все верно?

[Nick222]

Да, верно. И так регулярно.

[Azure]

Надо сделать список файлов папки1

Код: [Выделить]

cd путь/папка1
md5sum * > md5sum.txtС помощью его теперь будем проверять папку2

Код: (bash) [Выделить]

#! /bin/bash

cd путь/папка2
for cfile in * ; do
    file_sum=$(md5sum "$cfile")
    if grep -Fq "${file_sum%% *}" путь/папка1/md5sum.txt ; then
        rm -v "$cfile"
    else
        mv -v "$cfile" путь/папка1
        echo "$file_sum" >> путь/папка1/md5sum.txt
    fi
doneСохраняете скрипт, присваиваете исполняемый бит и запускаете когда надо

[Azure]

Чуть более быстрый

Код: (bash) [Выделить]

#! /bin/bash
 
cd путь/папка2
for cfile in * ; do
    file_sum=$(md5sum "$cfile")
    if grep -Fq "${file_sum%% *}" путь/папка1/md5sum.txt ; then
        rm -v "$cfile"
    else
        sline=${sline:+"$sline"$'\x0a'}"$file_sum"
    fi
done
mv -vt путь/папка1 *
echo "$sline" >> путь/папка1/md5sum.txt

[Nick222]

Спасибо, попробую...

А если в папке 1 и в папке 2 есть подпапки, то нужно сильно менять сравнение и перенос?
Ведь на вычисление контрольной суммы в папке 1 наличие подкаталогов влиять вроде не должно?
А вот как сохранить структуру каталогов при их переносе из папки 1 в папку 2 ?
Пользователь добавил сообщение 01 Декабря 2018, 14:04:37:Извините, про sline не очень понял...
Пользователь добавил сообщение 01 Декабря 2018, 14:09:55:И ещё вопрос, если можно, - если у старого и нового файла обязательно совпадает расширение (но не имя и дата), то не облегчит ли это задачу?

[Azure]

если в папке 1 и в папке 2 есть подпапки

нужно сильно менять сравнение и перенос

чтобы

сохранить структуру каталогов при их переносе

вычисление контрольной суммы в папке 1 наличие подкаталогов

будет

влиять

у старого и нового файла обязательно совпадает расширение

У всех проверяемых файлов? Оно одно?

[Nick222]

Странно - я посмотрел - судя по всему, программа просто пропускает каталоги при вычислении контрольных сумм файлов. Во всяком случае в итоговом файле контрольных сумм никакого следа каталогов нет.
Разве контрольная сумма файла зависит от его расположения в дереве каталогов?

Про расширение: у файлов могут быть различные расширения, но, если файлы совпадают по контрольной сумме, то у них наверняка одинаковое расширение (так получается при их создании). Обратное неверно - совпадение имени и расширения не гарантирует совпадения контрольной суммы.

Про скрипт: может быть, решить эту проблему так
- сначала удалять из папки 2 все дубликаты с папкой 1,
- а потом перенести все оставшиеся в папке 2 файлы в папку 1 (с сохранением структуры папок папки 2 и с дописыванием в имеющиеся совпадающие подпапки в папке 1, и с автоматическим переименованием совпадающих имён файлов) ?

Это возможно? Не сложно?

[Azure]

Скрипт с учетом подпапок

Код: [Выделить]

#! /bin/bash
find путь/папка1 -type f ! -exec grep -qF {} $HOME/md5sum.txt \; -exec md5sum {} + >> $HOME/md5sum.txt
cd путь/папка2
find . -type f -exec bash -c 'grep -Fq $(md5sum {} | cut -f1) $HOME/md5sum.txt' \; -delete -print
find . -type d -empty -delete
cp --verbose --recursive --target-directory="путь/папка1" *
rm -r *

[Nick222]

Спасибо большое