Скрипт для рекурсивного подсчета md5

[Sergem]

Здравствуйте!

       Необходимо написать скрипт который рекурсивно обходит директорию вглубь, подсчитывает md5 суммы файлов и пишет отчет в текстовый файл в виде:

директория
файл md5сумма

       Причем отчет должен лежать на уровень выше директории которая исследуется (из которой будет скрипт запускаться).
       Как это можно сделать? Какие команды смотреть? Пытался решить этот вопрос комбинируя команды: ls, comm, md5sum, less, cat и т.д.
       Подозреваю, что одной строкой это не решить, а придеться комбинировать в bash, здесь вообще никаких мыслей не возникает

[Riateche]

Как насчет такого:

Код: [Выделить]

for i in `find *`
do
   echo $i `md5sum $i`
done


[Protopopulus]

Как насчет такого:

Код: [Выделить]

for i in `find *`
do
   echo $i `md5sum $i`
done


Угу, только еще вывод в файл надо добавить... Т.е.:

Код: [Выделить]

for i in `find /путь/к_папке/*`
do
   echo $i `md5sum $i` >> /путь/к_файлу/с_суммами
done

[Sergem]

Как насчет такого:

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

for i in `find *`
do
   echo $i `md5sum $i`
done


Я добавил в начало: #!/bin/bash но скрипт не заработал

Угу, только еще вывод в файл надо добавить... Т.е.:

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

for i in `find /путь/к_папке/*`
do
   echo $i `md5sum $i` >> /путь/к_файлу/с_суммами
done

Вручную поменял пути и получил:

(Нажмите, чтобы показать/скрыть)

/media/disk/on-write/test/1996-07-11.
Роберт
Шекли.
Демоны.mp3
/media/disk/on-write/test/1996-07-11.
Роберт
Шекли.
Опека.mp3
/media/disk/on-write/test/1996-07-11.
Роберт
Шекли.
Специалист.mp3
/media/disk/on-write/test/1996-08-01.
Клиффорд
Саймак.
Мир,
которого
не
может
быть.mp3
/media/disk/on-write/test/1996-08-08.
Клиффорд
Саймак.
Дом
обновленных.mp3
/media/disk/on-write/test/1996-08-15.
Клиффорд
Саймак.
Куш.mp3
/media/disk/on-write/test/files.txt d216ec3588744033537bbaaa69a148ec /media/disk/on-write/test/files.txt

В директории же лежит:

(Нажмите, чтобы показать/скрыть)

1996-07-11. Роберт Шекли. Демоны.mp3
1996-07-11. Роберт Шекли. Опека.mp3
1996-07-11. Роберт Шекли. Специалист.mp3
1996-08-01. Клиффорд Саймак. Мир, которого не может быть.mp3
1996-08-08. Клиффорд Саймак. Дом обновленных.mp3
1996-08-15. Клиффорд Саймак. Куш.mp3
files.txt

т.е. сумма md5 почему то не посчиталась для всех файлов.
Файлы с пробелами разорваны
Желательно, чтобы скрипт был универсальный т.е. чтобы при вызове указать директорию, а он выдавал информацию туда откуда запущен, скажем в файл report.txt
Это возможно?

[Protopopulus]

Код: [Выделить]

#!/bin/bash
echo -n "Укажите путь к директории назначения: "
read TARGET_DIR
cd $TARGET_DIR/..
for i in `find $TARGET_DIR/*`
    do
    md5sum $i >> ./md5sums
    done

[Sergem]

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

#!/bin/bash
echo -n "Укажите путь к директории назначения: "
read TARGET_DIR
cd $TARGET_DIR/..
for i in `find $TARGET_DIR/*`
    do
    md5sum $i >> ./md5sums
    done

       Вводил путь: /media/disk/on-write/test/ и /media/disk/on-write/test результат в файле md5sums один и тот же: d216ec3588744033537bbaaa69a148ec  /media/disk/on-write/test/files.txt
       Этот скрипт положил в файл schet вот какой вывод в консоли:

(Нажмите, чтобы показать/скрыть)

serge@serge-desktop:/media/disk/on-write$ bash schet
Укажите путь к директории назначения: /media/disk/on-write/test
md5sum: /media/disk/on-write/test/1996-07-11.: No such file or directory
md5sum: Роберт: No such file or directory
md5sum: Шекли.: No such file or directory
md5sum: Демоны.mp3: No such file or directory
md5sum: /media/disk/on-write/test/1996-07-11.: No such file or directory
md5sum: Роберт: No such file or directory
md5sum: Шекли.: No such file or directory
md5sum: Опека.mp3: No such file or directory
md5sum: /media/disk/on-write/test/1996-07-11.: No such file or directory
md5sum: Роберт: No such file or directory
md5sum: Шекли.: No such file or directory
md5sum: Специалист.mp3: No such file or directory
md5sum: /media/disk/on-write/test/1996-08-01.: No such file or directory
md5sum: Клиффорд: No such file or directory
md5sum: Саймак.: No such file or directory
md5sum: Мир,: No such file or directory
md5sum: которого: No such file or directory
md5sum: не: No such file or directory
md5sum: может: No such file or directory
md5sum: быть.mp3: No such file or directory
md5sum: /media/disk/on-write/test/1996-08-08.: No such file or directory
md5sum: Клиффорд: No such file or directory
md5sum: Саймак.: No such file or directory
md5sum: Дом: No such file or directory
md5sum: обновленных.mp3: No such file or directory
md5sum: /media/disk/on-write/test/1996-08-15.: No such file or directory
md5sum: Клиффорд: No such file or directory
md5sum: Саймак.: No such file or directory
md5sum: Куш.mp3: No such file or directory

       Получается, что то нужно делать с пробелами. Я думаю может просто получить список в файл командой ls а потом разбирать файл, может командой sed, и подставлять в md5sum который в свою очередь будет перенаправлять результат в файл md5sums

[Protopopulus]

У меня файлы с пробелами в именах спокойно читает... И выводит список в файл совершенно спокойно. :-
Значит делаю так:

Код: [Выделить]

protopopulus@sofocl:~$ ./summa
Укажите путь к директории назначения: ./packages
protopopulus@sofocl:~$
Выдает:

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

f70817557ecbf4183b498fd98051ec03  ./packages/abiword_2.6.6-0ubuntu1_i386.deb
1d73e9ce6e06da8a9142c68d6e628216  ./packages/abiword-common_2.6.6-0ubuntu1_all.deb
b2fe3a1e433c379b9d4bfc300f1e564a  ./packages/abiword-help_2.6.6-0ubuntu1_all.deb
c9cdc336a31cff4da2b2f63a338bf679  ./packages/abiword-plugin-grammar_2.6.6-0ubuntu1_i386.deb
bec7e3edea38d0cd6b5687d7d083c56b  ./packages/abiword-plugin-mathview_2.6.6-0ubuntu1_i386.deb
9e16c7011da313a330a3f2dd1e26acd1  ./packages/abiword-plugins_2.6.6-0ubuntu1_all.deb
80ace50f6a50444a5b17b7fdfeaf03ce  ./packages/akregator_4%3a4.2.2-0ubuntu1_i386.deb
4b6fcf6e273e8f2f6a7349fad39763b2  ./packages/amarok_2%3a2.0.2mysql5.1.30-0ubuntu3_i386.deb
098a0f41b4ea71890a53c02e5112f77d  ./packages/amarok-common_2%3a2.0.2mysql5.1.30-0ubuntu3_all.deb
a8926d79d37adfec904fc80994651406  ./packages/app-install-data-commercial_11.9.04.2_all.deb
04585fdc72121d1edfd3982ebf59a482  ./packages/app-install-data-partner_11.9.04.2_all.deb
f799fa04509e8cdcad100a7ca766bd32  ./packages/apport-qt_1.0-0ubuntu5.2_all.deb
7581d622300ec91916237e3dd74e3186  ./packages/ark_4%3a4.2.2-0ubuntu2_i386.deb
45b38c137363dafbedfec3b667f00b08  ./packages/audacity_1.3.7-2ubuntu1_i386.deb

.............................

c1ee44b0f6db227902e839f30bf133d6  ./packages/transmission-gtk_1.51-0ubuntu3_i386.deb
b64eac4687facabbfd423b663b5b7045  ./packages/tzdata_2009j-0ubuntu0.9.04_all.deb
38a647e893b016ecf041e4f55a983c72  ./packages/tzdata-java_2009f-0ubuntu1_all.deb
23bc77628a697dc2ef3608b88c9ae448  ./packages/tzdata-java_2009j-0ubuntu0.9.04_all.deb
baab438f518cafd9a7ce1aae3a251ae3  ./packages/ubufox_0.7-0ubuntu1_all.deb
8e3587226230224dd3a8a7bc029eb34f  ./packages/update-manager-kde_1%3a0.111.9_all.deb
fd5807daf8389e19ad4a5507d8878ab1  ./packages/update-notifier_0.76.7_i386.deb
33776a4f25825374734fc422c2ac8241  ./packages/update-notifier-kde_0.19_all.deb
7c83e712427c34c63406a883c62dc16a  ./packages/vim-gnome_2%3a7.2.079-1ubuntu5_i386.deb
c8b3b2f3d5d178a3f657adad16d7a052  ./packages/vim-gui-common_2%3a7.2.079-1ubuntu5_all.deb
136cb1ead1548b472d58b8c9ada2f6d6  ./packages/vim-runtime_2%3a7.2.079-1ubuntu5_all.deb
68ba443aa6716c85f961d82a08266f1b  ./packages/wine-gecko_0.1.0-0ubuntu1_all.deb
4b6370baae3399df345a099a2be4f514  ./packages/xchat_2.8.6-2.1ubuntu4_i386.deb
a9ab80e396bda3d1dbefe72b196a6fd4  ./packages/xchat-common_2.8.6-2.1ubuntu4_all.deb
499b474418f6821728dd0e26794fb86f  ./packages/xfce4-appfinder_4.6.0-1_i386.deb
9298cd919df3b5fd31fc94a28f32c7be  ./packages/xfce4-mixer_1%3a4.6.0-1ubuntu2_i386.deb
e5e3488d7866f07d9e2b797140d5533b  ./packages/xfce4-panel_4.6.0-1ubuntu1_i386.deb
3904484c37b0a8dec1fc5debab925c2a  ./packages/xfce4-screenshooter_1.5.1-0ubuntu1_i386.deb
84360386f4a6664177771325a4993467  ./packages/xfce4-session_4.6.0-1ubuntu2_i386.deb
c14fa89cea47c0101e324c8ed704209d  ./packages/xfce4-settings_4.6.0-1ubuntu2_i386.deb
877e854a2dddc191c44f062243723259  ./packages/xfce4-terminal_0.2.10-1ubuntu2_i386.deb
bc21992d9e3cfb5bae9f08e8841c4a29  ./packages/xfce4-utils_4.6.0-1ubuntu2_i386.deb
4958004a199c5aac7727e24856e0b806  ./packages/xfconf_4.6.0-1~ubuntu1_i386.deb
e7b5579b335eb2e48e4f329f9d82e042  ./packages/xfdesktop4_4.6.0-1ubuntu1_i386.deb
e79e097041dc0e4512e0c736975cb76c  ./packages/xfdesktop4-data_4.6.0-1ubuntu1_all.deb
47c7efbc05283acaefbbb14e29d61d44  ./packages/xfprint4_4.6.0-1ubuntu3_i386.deb
b972df8d911687bdde6eb1df11ab44bb  ./packages/xfswitch-plugin_0.0.1-0ubuntu1_i386.deb
b53a58e39127b480111294230df4d9f8  ./packages/xfwm4_4.6.0-1ubuntu3_i386.deb
c37bd00487a5166ee9382fc9688c1406  ./packages/xfwm4-themes_4.6.0-1_all.deb
88c65056b33f8285f2f92c7b2955a63b  ./packages/xubuntu-artwork_0.26_all.deb
eb564e65e37ce67e7cc6e67e51f02faa  ./packages/xubuntu-artwork-usplash_0.26_i386.deb
f506b7fda266fa8381f8e39e0769131f  ./packages/xubuntu-default-settings_0.56_all.deb
1a0e78329fb63eee6f4d52900199c0a0  ./packages/xubuntu-desktop_2.82_i386.deb
677aaf62eb83360f09e9f0d751f24e45  ./packages/xubuntu-docs_9.04.2_all.deb
30b673e54cb907a12c3352f28cb3f125  ./packages/xulrunner-1.9_1.9.0.11+build2+nobinonly-0ubuntu0.9.04.1_i386.deb
7ff5c359beec42cde38dff9ed61ba913  ./packages/xulrunner-1.9-gnome-support_1.9.0.11+build2+nobinonly-0ubuntu0.9.04.1_i386.deb

Пользователь решил продолжить мысль 28 Июня 2009, 00:53:00:Хотя да... Чёт тоже не хотит

[Sergem]

Опишу свои действия.
Скрипт в файле: schet.

(Нажмите, чтобы показать/скрыть)

serge@serge-desktop:/media/disk/on-write$ pwd
/media/disk/on-write
serge@serge-desktop:/media/disk/on-write$ ls
path  path~  schet  schet~  test  Vlad_Kopp
serge@serge-desktop:/media/disk/on-write$ ls -Fla
итого 28
drwxr-xr-x  4 serge serge 4096 2009-06-27 23:52 ./
drwxrwxrwx 19 root  root  4096 2009-06-27 20:27 ../
-rw-r--r--  1 serge serge   27 2009-06-27 23:24 path
-rw-r--r--  1 serge serge    0 2009-06-27 23:24 path~
-rwxr--r--  1 serge serge  200 2009-06-27 23:26 schet*
-rwxr--r--  1 serge serge  199 2009-06-27 23:26 schet~*
drwxr-xr-x  2 serge serge 4096 2009-06-27 21:27 test/
drwxr-xr-x  3 serge serge 4096 2009-06-27 20:27 Vlad_Kopp/
serge@serge-desktop:/media/disk/on-write$ ./schet
Укажите путь к директории назначения: ./test
md5sum: ./test/1996-07-11.: No such file or directory
md5sum: Роберт: No such file or directory
md5sum: Шекли.: No such file or directory
md5sum: Демоны.mp3: No such file or directory
md5sum: ./test/1996-07-11.: No such file or directory
md5sum: Роберт: No such file or directory
md5sum: Шекли.: No such file or directory
md5sum: Опека.mp3: No such file or directory
md5sum: ./test/1996-07-11.: No such file or directory
md5sum: Роберт: No such file or directory
md5sum: Шекли.: No such file or directory
md5sum: Специалист.mp3: No such file or directory
md5sum: ./test/1996-08-01.: No such file or directory
md5sum: Клиффорд: No such file or directory
md5sum: Саймак.: No such file or directory
md5sum: Мир,: No such file or directory
md5sum: которого: No such file or directory
md5sum: не: No such file or directory
md5sum: может: No such file or directory
md5sum: быть.mp3: No such file or directory
md5sum: ./test/1996-08-08.: No such file or directory
md5sum: Клиффорд: No such file or directory
md5sum: Саймак.: No such file or directory
md5sum: Дом: No such file or directory
md5sum: обновленных.mp3: No such file or directory
md5sum: ./test/1996-08-15.: No such file or directory
md5sum: Клиффорд: No such file or directory
md5sum: Саймак.: No such file or directory
md5sum: Куш.mp3: No such file or directory
serge@serge-desktop:/media/disk/on-write$

В файле md5sums: d216ec3588744033537bbaaa69a148ec  ./test/files.txt и все

Теперь захожу в test:

(Нажмите, чтобы показать/скрыть)

serge@serge-desktop:/media/disk/on-write$ ls
path  path~  schet  schet~  test  Vlad_Kopp
serge@serge-desktop:/media/disk/on-write$ cd test
serge@serge-desktop:/media/disk/on-write/test$ ls
1996-07-11. Роберт Шекли. Демоны.mp3
1996-07-11. Роберт Шекли. Опека.mp3
1996-07-11. Роберт Шекли. Специалист.mp3
1996-08-01. Клиффорд Саймак. Мир, которого не может быть.mp3
1996-08-08. Клиффорд Саймак. Дом обновленных.mp3
1996-08-15. Клиффорд Саймак. Куш.mp3
files.txt
serge@serge-desktop:/media/disk/on-write/test$ ./schet
bash: ./schet: No such file or directory
serge@serge-desktop:/media/disk/on-write/test$ ../schet
Укажите путь к директории назначения: ../test
find: `../test/*': No such file or directory
serge@serge-desktop:/media/disk/on-write/test$ ../schet
Укажите путь к директории назначения: ../test/
find: `../test//*': No such file or directory
serge@serge-desktop:/media/disk/on-write/test$

Вообще ничего не получается

Я уже думал может через sed делать, примерно так:

sed s/.*/"&"/w newfile listls
где newfile - файл после обработки команды
listls - файл вывода команды ls строки которой экранируются кавычками.
       Если честно я не силен в команде sed, читаю документацию на множество команд, уже несколько дней пытаюсь решить эту задачу...

[Protopopulus]

http://community.livejournal.com/ru_itips/1782.html Скрепты, скрепты... Вот оно как

[Sergem]

http://community.livejournal.com/ru_itips/1782.html Скрепты, скрепты... Вот оно как

Как все просто 
На всякий случай подтяну сюда решение, чтобы потом быстро его находить, когда понадобится...

(Нажмите, чтобы показать/скрыть)

Маркер Чорный (dark_barker)

linux: md5 каталога рекурсивно
Как известно, md5sum создаёт сумму одного файла, вот так, например, можно заставить (без сторонних приблуд, типа md5deep) делать его рекурсивно:
find ~/music -type f -exec md5sum {} \; >> ~/music.md5
Проверять потом известно как (как ни странно, тут уже отлично справляется и штатная утилита, без всяких рекурсивных обходов):
md5sum -c ~/music.md5
Чтобы сразу видеть неудачные строки можно сделать что-то типа того:
md5sum -c /home/dimon/music.md5 | grep -v Успех$
Здесь выбираеются все строки, оканчивающиеся на что-то, кроме слова "Успех"

С помощью упомянутой md5deep сделать это можно так:md5deep -rl ./ка/та/лог > каталог.md5Параметры тут означают: r - рекурсивно, l - относительные пути писать.

Огромное Вам спасибо за помощь в решении проблемы!!!

[Protopopulus]

Итак, конечный результат:

Код: [Выделить]

#!/bin/bash
echo -n "Введите путь к директории: "
read VAR_DIR
find $VAR_DIR -type f -exec md5sum {} \; >> $VAR_DIR/../$VAR_DIR.md5

[ArcFi]

Protopopulus, интерактивные режимы в скриптах -- зло, ибо усложняют работу со скриптом при вызове его из другого скрипта. Используйте стандартные переменные для передачи значений параметров.

[Protopopulus]

Ну, а если нужен именно интерактивный режим? То есть данный скрипт делает только то, что упрощает работу с командами, интерфейс, так сказать...

[ArcFi]

Protopopulus, вся прелесть использования скрипта в максимальной автоматизации процесса его выполнения.
Почувствуйте разницу между:

Код: [Выделить]

$ sudo /etc/init.d/samba
Usage: /etc/init.d/samba {start|stop|reload|restart|force-reload|status}
$ sudo /etc/init.d/samba stop
 * Stopping Samba daemons                                                               [ OK ]
$ sudo /etc/init.d/samba start
 * Starting Samba daemons                                                               [ OK ]
$ sudo /etc/init.d/samba reload
 * Reloading /etc/samba/smb.conf smbd onlyИ теми же самыми действиями в интерактивном режиме.

[Protopopulus]

ArcFi, я может, конечно, и по-другому воспринимаю мир, но все же считаю, что для такой задачи этот скрипт очень даже хорошо подходит. Соглашусь с тем, что запускать сервер лучше на полном автомате, а не руками, но указывать путь до папки с файлами через кучу всяческих непотребностей (в данном контексте, конечно) один раз в две-пять недель с тем условием, что путь к папке может быть другим, это уже извращение и "не linux-way" Имхо, все должно быть максимально рационально, т.е. задачи должны выполняться минимальными средствами и усилиями с максимальной эффективностью. Пример тому - забивать гвоздь можно просто молотком, а можно и специальным устройством, где задается сила удара, частота ударов, положение гвоздя относительно перпендикуляра к объекту и т.п.