Форум русскоязычного сообщества Ubuntu


Увидели сообщение с непонятной ссылкой, спам, непристойность или оскорбление?
Воспользуйтесь ссылкой «Сообщить модератору» рядом с сообщением!

Автор Тема: Удаление дублей файлов  (Прочитано 1003 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн codrilla

  • Автор темы
  • Новичок
  • *
  • Сообщений: 22
    • Просмотр профиля
Удаление дублей файлов
« : 07 Февраля 2013, 18:58:34 »
Задача такова. В папке есть огромная куча файлов. Все имеют разное название. Все файлы картинки. И среди них встречается большое количество повторений. То есть одна и та же картинка может быть с разными названиями. Нужно написать скрипт, который удаляет повторы и оставляет только один файл, если их несколько идентичных. Самая простая идея - сравнивать по размеру.
Нужна помощь в написании самого скрипта. И может быть кто-то предложит более удачный метод сравнивания, нежели по рзмеру файла.

Оффлайн ArcFi

  • Старожил
  • *
  • Сообщений: 15189
    • Просмотр профиля
    • aetera.net
Re: Удаление дублей файлов
« Ответ #1 : 07 Февраля 2013, 19:03:36 »
1. Каталогизаторы изображений (например, gThumb) имеют средства нахождения и удаления дубликатов.
2. http://ru.wikipedia.org/wiki/Fdupes
3. http://www.pixelbeat.org/fslint/

Оффлайн codrilla

  • Автор темы
  • Новичок
  • *
  • Сообщений: 22
    • Просмотр профиля
Re: Удаление дублей файлов
« Ответ #2 : 07 Февраля 2013, 19:08:47 »
#!/bin/bash
 
DIR_SRC="/path/to/dir/"
 
cd "$DIR_SRC" || exit 1
find . -type f | while read FILE #вопрос: как сделать, чтобы поиск не осуществлялся в поддиректориях?
do
# вот здесь брать файл и сравнивать его с остальными
# вопрос: как сравнивать?
done

Оффлайн ArcFi

  • Старожил
  • *
  • Сообщений: 15189
    • Просмотр профиля
    • aetera.net
Re: Удаление дублей файлов
« Ответ #3 : 07 Февраля 2013, 19:10:54 »
Каков смысл написания велосипеда?

Оффлайн codrilla

  • Автор темы
  • Новичок
  • *
  • Сообщений: 22
    • Просмотр профиля
Re: Удаление дублей файлов
« Ответ #4 : 07 Февраля 2013, 19:11:26 »
1. Каталогизаторы изображений (например, gThumb) имеют средства нахождения и удаления дубликатов.
2. http://ru.wikipedia.org/wiki/Fdupes
3. http://www.pixelbeat.org/fslint/
Интересно, а я думал скрипт писать. Попробую программу.

Оффлайн codrilla

  • Автор темы
  • Новичок
  • *
  • Сообщений: 22
    • Просмотр профиля
Re: Удаление дублей файлов
« Ответ #5 : 10 Февраля 2013, 12:37:44 »
Цитировать
http://ru.wikipedia.org/wiki/Fdupes
Не сработала. Видимо потому, что файлы имеют разные названия.

Пользователь решил продолжить мысль 10 Февраля 2013, 12:50:05:
Виноват. Не дописал ключи -d -N Попробую второй заход.

Пользователь решил продолжить мысль 10 Февраля 2013, 16:04:27:
Теперь сработало.
« Последнее редактирование: 10 Февраля 2013, 16:04:27 от codrilla »

Оффлайн alexander.pronin

  • Старожил
  • *
  • Сообщений: 2539
    • Просмотр профиля
Re: Удаление дублей файлов
« Ответ #6 : 11 Февраля 2013, 08:38:52 »
Если надумаете писать свой лисапед, то можно попробовать такую идею.
Признаки, указанные ниже, со 100% гарантией выявят индентичные файлы.
1. Одинаковые по размеру файла
и
2. Одинаковые md5sum.
ЗЫ. Может быть, достаточно и 2 условия, но я бы не рисковал.
ЗЫ2. Еще есть утилиты типа diff.

 

Страница сгенерирована за 0.063 секунд. Запросов: 25.