Скрипт для перименования файлов по md5-хешу

[ubu12.04ntu]

bash 1.sh
7b2a4d53fde834e801c26a2bab7e0240   Handbook of Clinical Drug Data.rtf
====
mv: «/home/user/lib/11/0.pdf» и «/home/user/lib/11/0.pdf» - один и тот же файл
====

[Azure]

Постепенно приходим к нахождению ошибки. Давайте поменяем эту строчку

Код: [Выделить]

    names[${line%%[[:space:]]*}]=${line#*[[:space:]]}Думаю проблема в том, что при копировании табуляция заменяется пробелами…

[ubu12.04ntu]

bash 1.sh
.rtf
====
mv: «/home/user/lib/11/0.pdf» и «/home/user/lib/11/0.pdf» - один и тот же файл



Пользователь решил продолжить мысль [time]24 Март 2016, 12:45:42[/time]:в файле names имена с расширениями.
Пользователь решил продолжить мысль 24 Марта 2016, 11:50:14:В names и md5 нет никаких кавычек и других разделителей. Разделены абзацем наверно. Файлы вкладывал раньше

[Azure]

Чтоб не мучиться с пробелами в именах

Код: (bash) [Выделить]

#!/bin/bash
declare -A  names
while read line
do
    names[${line%^*}]=${line#*^}
done < <(paste -d'^' md5.csv names.csv)
echo "${names[@]}" | head
while read mfile
do
    mdsum=$(md5sum "$mfile")
    echo "==${names[${mdsum%% *}]}=="
    mv "$mfile" "${mfile%/*}/${names[${mdsum%% *}]}"
done < <(find <каталог> -type f)

[ubu12.04ntu]

на одном файле сработало. попробую взять больше.
Пользователь решил продолжить мысль 24 Марта 2016, 12:27:18:на больших просто мигает курсор и даже первый файл в списке пока не преименован.
можно ли понять, идет ли процесс?
курсор точно также мигал и при выполнении скрипта с ошибками.

[Azure]

ubu12.04ntu, проблема может возникнуть при очень большом количестве — ограничение памяти. Тогда придется решать задачу немного по другому
Если echo не убирали то скрипт застревает на этапе формирования массива…

[ubu12.04ntu]

Строчки с echo убрал. так же мигает курсор.

Немогли бы вы словами описать код скрипта? он сначала создает базу, а потом сканирует файлы?
Поэтому после bash 1.sh ничего не происходит?

Если склеить оба файла в один - это сути не изменит?

[Azure]

сначала создает базу, а потом сканирует файлы?

Именно так

Если склеить оба файла в один - это сути не изменит?

Если Вы имеете ввиду скорость, то не изменит, но скорее всего для другого пути придется.

Код: (bash) [Выделить]

paste md5.csv names.csv > data.csv

Код: (bash) [Выделить]

find /home/user/lib/ -type f -exec bash -c '
echo mv "$0" "${0%/*}/$(grep -Ff <(md5sum "$0" | cut -f1 -d\ ) data.csv | cut -f2-)"' {} \; | headЕсли правильно пути/имена покажет то echo и head убрать

[ubu12.04ntu]

1.sh: строка 5: names[${line%^*}]: неправильный индекс массива

Что это значит?
Думаю, надо сначала создать базу, тем более, она нужна не на один раз.
Пользователь решил продолжить мысль [time]24 Март 2016, 13:50:38[/time]:

Код: [Выделить]

paste md5.csv names.csv > data.csvклеить лучше именно через табуляцию?
Пользователь решил продолжить мысль 24 Марта 2016, 12:58:33:Склеил и запустил, как Вы написали.
Выдает несколько стро типа
md5sum: Дж.: Нет такого файла или каталога

Некоторые файлы переименовал, но похоже, что не все.

[Azure]

Думаю, надо сначала создать базу, тем более, она нужна не на один раз.

Список в файле и массив в оперативной памяти разные вещи.

Выдает несколько стро типа
md5sum: Дж.: Нет такого файла или каталога

Поправил скрипт (добавил кавычки вокруг $0)

[ubu12.04ntu]

Все, кажется сработало. Убрал echo.

Код: [Выделить]

    find /home/u/lib/11/ -type f -exec bash -c '
    mv "$0" "${0%/*}/$(grep -Ff <(md5sum "$0" | cut -f1 -d\ ) data.csv | cut -f2-)"' {} \;
Если переименовало файл, хеш и имя которого идут под номером 1,5 млн, значит точно корректно обработает все файлы?
Пользователь решил продолжить мысль [time]24 Март 2016, 14:09:03[/time]:В моем посте эти кавычки есть? уже запутался, проверьте пожалуйста.
Пользователь решил продолжить мысль 24 Марта 2016, 13:13:41:Что с длинными именами можно сделать?

(Нажмите, чтобы показать/скрыть)

mv: не удалось получить доступ к «/home/u/lib/11/Неорганическая химия/Пригодится/[Для высшей школы] Р.А. Лидин В.А. Молочко Л.Л. Андреева - Химические свойства неорганических веществ- Учеб. пособие для студентов вузов, обучающихся по направлению Химия и специально.djvu\r»: Слишком длинное имя файла

[Azure]

Это «во что» надо переименовать или «из чего»?

[ubu12.04ntu]

В смысле, длинный путь - во что.
А на из чего тоже ограничение? пока не встретилось.

[Azure]

Код: (bash) [Выделить]

#!/bin/bash
declare -A names
exec 3<md5.csv 4<names.csv
while read mdsum <&3
do
    read name <&4
    names["$mdsum"]="$name"
done
exec 3<&- 4<&-
echo "${names[@]}" | head
while read mfile
do
    mdsum=$(md5sum "$mfile")
    echo "==${names[${mdsum%% *}]}=="
    mv "$mfile" "${mfile%/*}/${names[${mdsum%% *}]}"
done < <(find <каталог> -type f)И да, стоит убрать виндовые переводы строк «\r»

[ubu12.04ntu]

Что-то долго жевало последний скрипт, переименовало меньше файлов, чем через data.csv
Пожалуй, на том варианте и остановимся, длинные пути проигнорируем да и все.
Спасибо Вам, что помогли наиболее отпимальным путем решить задачу.

Один лишь момент. Посоветуйте, как убрать виндовые переводы строк «\r» в  data.csv? На что их заменить и чем? Или это лучше сделать перед склейкой md5 и names?