Скрипт для перименования файлов по md5-хешу

[ubu12.04ntu]

Есть два файла, оба UTF-8, оба по 1,5 млн строк:
md5.csv, содержащий хеши файлов, только нижний регистр символов.

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

2207e71a15476144960e952a93cc574e
fc57d5cd35deceea9c4ce0e9f9282e08
9822ee317eb12157cb50690b8102c130
6092382b0fe0971d7cfbefed8b1ada32
a74aba386ef74ce43a0cf3c6ed0d1961
94c41feeffca9ce337d866fb9fef4dbc
eb1ae7f65b5475536ca8a5561ac83c10
54583dd1ee36fde0e5dd9b69c7397a28
31cef4816dac69c06dda9786eb3c7259
4d99229ecaff692c30e37807d904b149
a1717c23bc42385ab6a66dd23a90ceee
ee23cff0fa5bb89c1616de01fa845728
d32bcbf9c71eecbefd13635c96a02d47
ae5727c77a2e5ad98f95df1e62e8446d

names.csv, содержащий имена файлов (без каталогов) в строгом соответствии по строкам их хешам.

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

Райт П., Камминг А.  (Wright P., Cumming A.) Полиуретановые эластомеры [Химия,  1973].djvu
Рафиков С.Р., Будтов В.П., Монаков Ю.Б. Введение в физико-химию растворов полимеров М. Наука, 1978.djvu
Рафиков С.Р., Будтов В.П., Монаков Ю.Б. Введение в физикохимию полимеров, Наука, 1978.djvu
Рафиков С.Р... Методы определения молекулярных весов и полидисперсности ВМС 1963.djvu
Рейтлингер С.А.  Проницаемость полимерных материалов [Химия,  1974].djvu
Рейтлингер С.А. Проницаемость полимерных материалов М. Химия, 1974.djvu
Розенберг М.Э.  Полимеры на основе винилацетата [Химия,  1983].djvu
Розенберг М.Э. Полимеры на основе винилацетата Л.Химия, 1983.djvu
Сёренсон У., Кемпбел Т.  Препаративные методы химии полимеров [ИЛ,  1963].djvu
Сеидов Н.М.  Новые синтетические каучуки на основе этилена и а-олефинов [Элм,  1981].djvu
Сеидов Н.М. Новые синтетические каучуки на основе этилена и олефинов (Баку, 1981).djvu
Семчиков Ю.Д. Высокомолекулярные соединения. - М., 2003.djvu
Серенсон У., Кемпбел Т. Препаративные методы химии полимеров М. 1963.djvu
Серков А.Т. и др. Хлопкоподобные вискозные волокна М. Химия, 1987.djvu

И есть каталог, содержащий покаталоги с файлами с отфанарными именами.
Нужен скрипт, который даст файлам, совпадающим по хешу с md5.csv имена из names.csv и оставит их в тех же подкаталогах.

Можно ли сделать скрипт под Ubuntu, который сначала из таблицы извлечет встречающиеся файлы, а потом их переименует?
Важно найти наиболее рациональный по времени выполнения задания путь, т.к. процедуру необходимо повторять много раз.

[Punko]

ubu12.04ntu, Мне кажется нет смысла

который сначала из таблицы извлечет встречающиеся файлы, а потом их переименует?

Потому что придётся два раза искать файлы эти - первый раз при проверке есть ли они в системе(а так как это не один каталог, то придётся рекурсивно проверять), а второй раз точно такой же поиск делать для переименования.

Наверно лучше в одном цикле искать файл и при возвращении true сразу его переименовывать. Только надо подумать, как взять нужное новое имя.

А вообще 1.5 млн в тхт это пипец, вы не задумывались о базе данных?

[Azure]

Для квалифицированого ответа хотелось бы увидеть пример такой таблицы (10-20 строк). Не совсем понятно про сотни подпапок. Оптимально было бы увидеть тоже пример из 10-15 файлов (расположение с подпапками)

[ubu12.04ntu]

Немного изменил задачу, помогите пожалуйста.
Скрипты не делал. Знаю только, что есть md5sum.
Надеюсь, что задача быстро решается в несколько строк.
Пользователь решил продолжить мысль [time]23 Март 2016, 15:58:14[/time]:Может напр. сначала вывести md5 всех файлов сканируемого каталога

Код: [Выделить]

find -type f -exec md5sum -b {} + > check_sum.md5а потом сравнивать с md5.csv?
Или сравнение возможно только при одинаковой сортировке хешей в файлах, напр. по алфавиту?

[Azure]

Если не будет проблем с памятью (всё-таки 1,5 млн) можно попробовать через массив

Код: (bash) [Выделить]

#!/bin/bash
declare -A  names
while read line
do
    names[${line% *}]=${line#* } #тут <Таб> а не пробелы
done < <(paste md5.csv names.csv)
while read mfile
do
    mdsum=$(md5sum "$mfile")
    mv "$mfile" "${mfile%/*}/${names[${mdsum%% *}]}"
done < <(find <каталог> -type f)

[ubu12.04ntu]

Код: [Выделить]

done < <(find </home/user/lib/11/> -type f)Правильно вставил?
Почему тогда

Код: [Выделить]

:~/lib$ bash 1.sh
find: `f': Нет такого файла или каталога
Пробовал на мелких файлах, по одной строчке в каждом
Пользователь решил продолжить мысль 23 Марта 2016, 23:17:24:И почему-то появился файл -type в папке lib

[Punko]

ubu12.04ntu,
уберите < >
Это для примера было. Сам путь просто как путь.

[ubu12.04ntu]

<> оттуда убрал
Выдало
mv: «/home/user/lib/11/0.pdf» и «/home/uer/lib/11/0.pdf» - один и тот же файл
А файл не переименовало.

[Punko]

ubu12.04ntu, ну теперь вопрос к Azure.

[ubu12.04ntu]

Я мало понимаю и мне странно, что в скрипте нет if.
Ведь если md5sum файла равно строке из md5.csv, то тогда переименовать файл в строку из names.csv

[Azure]

Давайте вставим перед mv echo и посмотрим:

Код: (bash) [Выделить]

echo "$mdsum <> ${names[${mdsum% *}]} <> ${mfile%/*}"

[ubu12.04ntu]

Код: [Выделить]

7b2a4d53fde834e801c26a2bab7e0240  /home/user/lib/11/0.pdf <>  <> /home/user/lib/11
mv: «/home/user/lib/11/0.pdf» и «/home/user/lib/11/0.pdf» - один и тот же файл
Запускал так  bash 1.sh

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

    #!/bin/bash
    declare -A  names
    while read line
    do
        names[${line%       *}]=${line#*    }       #тут <Таб> а не пробелы
    done < <(paste md5.csv names.csv)
    while read mfile
    do
        mdsum=$(md5sum "$mfile")
    echo "$mdsum <> ${names[${mdsum% *}]} <> ${mfile%/*}"
        mv "$mfile" "${mfile%/*}/${names[${mdsum% *}]}"
    done < <(find /home/user/lib/ -type f)

[Azure]

Фокус в том, что или имени с таким хэш не существует,

Код: [Выделить]

nl md5.csv | grep -F '7b2a4d53fde834e801c26a2bab7e0240'или что-то не сработало в плане создания массива имен.

Код: [Выделить]

paste md5.csv names.csv | headВы пути правильно до файлов  md5.csv names.csv прописали? Там действительно каждое имя/хэш на отдельной строке?

[ubu12.04ntu]

 nl md5.csv | grep -F '7b2a4d53fde834e801c26a2bab7e0240'
     1   7b2a4d53fde834e801c26a2bab7e0240

paste md5.csv names.csv | head
7b2a4d53fde834e801c26a2bab7e0240   Handbook of Clinical Drug Data.rtf

Пробую на 1 файле, точно правильный хеш, файлы вложил.

[Azure]

Код: (bash) [Выделить]

#!/bin/bash
declare -A  names
while read line
do
    names[${line%       *}]=${line#*    }       #тут <Таб> а не пробелы
done < <(paste md5.csv names.csv)
echo "${names[@]}" | head
while read mfile
do
    mdsum=$(md5sum "$mfile")
    echo "==${names[${mdsum%% *}]}=="
    mv "$mfile" "${mfile%/*}/${names[${mdsum%% *}]}"
done < <(find <каталог> -type f)потом строки с echo можно убрать