[РЕШЕНО] Привожу музыкальную коллекцию в нормальный вид

[iPet3o]

(Нажмите, чтобы показать/скрыть)

Пожалуй начну с того, что моя коллекция насчитывает около 3200 файлов (так показывается в свойствах папки. реальное значение все же меньше).
Решил вот я привести ее в нормальный вид, отредактировал теги у тех треков которые чаще всего слушаю, раскидал по папкам для простоты навигации.
И тут столкнулся с первой проблемой. Нужно удалить дубликаты файлов. Дубликаты я нашел быстро, погуглив нашел вот такую команду

Код: [Выделить]

find ~/Музыка/ -type f | xargs -d\\n md5sum | sort | uniq -D -w 32 >duplicates.txt
Думал компьютер долго сравнивая md5 суммы у файлов с одинаковым размером, но файл с дубликатами создал. Из этого вытекла вторая проблема: как удалить файлы находящиеся в списке duplicates.txt? Список имеет вид

Код: [Выделить]

md5sum /path/to/file/file.*как я понял, сначала идет файл а потом найденные к нему дубликаты. В файле 267 строк (количество нечетное видимо из-за того, что некоторые файлы имеют по несколько дубликатов) и удалять такое кол-во файлов руками.... не есть хорошо. Как можно автоматизировать этот процесс? Но при этом надо что бы одна копия файла все же осталась а не удалить все подряд файлы находящиеся в списке. Возможно ли такое?

P.S. Можно упростить задачу. Я могу привести список к такому виду что бы он содержал ТОЛЬКО пути к ТОЛЬКО тем файлам которые надо удалить.

*************************************

Далее что бы помочь пользователям столкнувшимся с похожей проблемой приведу мой способ решения:

1) Удаляем дубликаты:
а) Устанавливаем fdupes

Код: [Выделить]

sudo apt-get install fdupesb) Ищем дубликатыи удаляем

Код: [Выделить]

fdupes -r -d /путь/к/папкеПрограмма будет спрашивать какие файлы удалить. Все это интуитивно понятно.

2) Удаляем файлы не являющиеся .mp3, .ogg и .waw

Код: [Выделить]

find ~/путь/к/папке -not --iname '*.mp3' -not -iname '*.ogg' -not -iname '*.wav' -type f -delete
По правде эту команду можно приспособить к любому типу файлов.

3) Удаляем пустующие папки:

Код: [Выделить]

find -depth -type d -empty -exec rmdir {} \;
Хочу сказать огромное "спасибо" всем кто помогал в решении этого вопроса.

[Serg]

http://gluf.net.ua/how-to/tips/poisk-i-udalenie-dublikatov-fajlov/ обрати внимание на ключ -d

[iPet3o]

serg, щас почитаем почитаем....
Пользователь решил продолжить мысль 24 Ноября 2010, 20:06:25:Эмм.... Как-то мне боизно мне этой программой пользоваться... Цитирую: "fdupes может сразу и удалять файлы-дубликаты" При этом удаляются все файлы или все же остается одна копия файла? Настораживает сама формулировка вышеприведенного предложения...

[Serg]

поэксперементируй с пятью файлами, скажем два дублируються..
делов-то...
создай папку и запихай их туда (5 файлов),
в строке вместо ~/ укажи путь

[iPet3o]

По экспериментировал. Там выбор файла для удаления присутствует. ну что ж. Придется пожмакать по клавишам. Раз эдак 150..

[Serg]

Код: [Выделить]

man fdupes

+ перевод
должно как-то автоматом

[GonZaleZ]

Вот хоть убей не знаю я, как в баше это делается, но в том же С++ я б просто сделал цикл из 267 команд удаления, только в каждую команду вставлялся бы путь из строки соответствующего номера. Ну а если строки не пронумерованы, то просто каждую последующую строку. Ну а последующую строку можно опознать по символу перехода строки.
Уверен, в баше тоже что-то такое сделать можно, но в силу его незнания могу написать только так:

Цикл (от 1 до 267) {
переменная путь = "такая-то строка из файла"
удалить путь
}

[iPet3o]

Неа. дают выбрать какой/ие файлы удалить. выдается список нескольких дубликатов, а ты выбираешь которые удалить - пишешь через запятую номера файлов для удаления, а потом идет еще несколько дубликатов и т.д. пока не удалятся все дубликаты.

[GonZaleZ]

Ну я так понял, что вы точно дошли до того, что создали файл со списком дубликатов.
Можно ли взглянуть на фрагмент этого файла?

И да, если файл имеет копию, то записывается и путь к файлу и путь к копии? Или только один из них?

[Serg]

там же написано:

fdupes может сразу и удалять файлы-дубликаты (ключ -d)

[iPet3o]

Ну я так понял, что вы точно дошли до того, что создали файл со списком дубликатов.
Можно ли взглянуть на фрагмент этого файла?

И да, если файл имеет копию, то записывается и путь к файлу и путь к копии? Или только один из них?

Конечно можно:

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

03a34549ff989d8b524a8119b8fb495a  /home/nautilus/Музыка/Дискографии/Three Days Grace/2009 - Life Starts Now[320]/09-Bully.mp3
03a34549ff989d8b524a8119b8fb495a  /home/nautilus/Музыка/Дискографии/Three Days Grace/Albums/2009 - Life Starts Now[320]/09-Bully.mp3
041c50bd6cea2307524824b95dd533f8  /home/nautilus/Музыка/Дискографии/Three Days Grace/2009 - Life Starts Now[320]/04-Lost In You.mp3
041c50bd6cea2307524824b95dd533f8  /home/nautilus/Музыка/Дискографии/Three Days Grace/Albums/2009 - Life Starts Now[320]/04-Lost In You.mp3

В списке содержатся ВСЕ файлы-дубликаты, то есть все у которых совпали md5 суммы.
Кстати, у некоторых файлов есть по несколько дубликатов, так что мысль про цикл реализовать вряд ли удастся.

***********************************

Теперь появилась новая проблема. Как найти и удалить файлы НЕ являющиеся .mp3, .ogg и .waw файлами, а потом еще и подтереть пустые папки если такие имеются. Пока буду копать в сторону "find" может и найду чего... Хотя Linux на то и Linux, что любую проблему можно решать несколькими способами, может подскажете какие есть еще варианты?

[GonZaleZ]

Пройдя по ссылке, я понял, что сейчас фактически хотел написать новый fdupes, который и так вроде бы должен вам прекрасно помочь.
Если боитесь, просто создайте 2 одинаковых файла и посмотрите на поведение программы.

[iPet3o]

Если боитесь, просто создайте 2 одинаковых файла и посмотрите на поведение программы.

Вы второй кто так пишет) И в третий раз отвечаю, что я так и сделал. Программа предоставила выбрать файлы для удаления. Просто прочитайте пост 6-ю постами выше.

[GonZaleZ]

Я не думал, что вы о той программе.
Ну тут тогда я вряд ли чем-то помогу, т.к. могу лишь накидать алгоритмы. Нам нужен человек, хорошо знающий баш.

[Serg]

ключ -d не помогает?