Форум русскоязычного сообщества Ubuntu


Увидели сообщение с непонятной ссылкой, спам, непристойность или оскорбление?
Воспользуйтесь ссылкой «Сообщить модератору» рядом с сообщением!

Автор Тема: скопировать только уникальные файлы  (Прочитано 1967 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн slavush

  • Автор темы
  • Забанен
  • Участник
  • *
  • Сообщений: 180
    • Просмотр профиля
    • Комтрейдинг
как скопировать только уникальные файлы с директории,
cp -u не подходит что-то смотрю
Intel CoffeeLake Core i5-9400F :: 16G 2666MHz :: SSD(m2) :: 650W :: Windows 10
Dell 3310 :: Intel(R) Core(TM) i5-8265U CPU @ 1.60GHz :: 16G DDR3 2666 MHz :: M.2 NVME :: Windows 10

Оффлайн andytux

  • Заслуженный пользователь
  • Старожил
  • *
  • Сообщений: 6834
    • Просмотр профиля
Re: скопировать только уникальные файлы
« Ответ #1 : 16 Января 2021, 07:47:42 »
Резонный вопрос, в чем их уникальность?
На конкретном примере.
В каталоге источнике два файла: a, b. Они уникальны?
В каталоге приемнике пусто. Для него оба файла уникальны.
В каталоге приемнике есть файл a. Для него уникален только файл b. Если копировать с помошью MC, то будет запрос, что делать с "неуникальным" файлом и выбор нескольких вариантов, в том числе и для последующих "неуникальных" файлов.
"Уникальное" решение для командной строки не подскажу.
« Последнее редактирование: 16 Января 2021, 09:18:18 от andytux »

Оффлайн slavush

  • Автор темы
  • Забанен
  • Участник
  • *
  • Сообщений: 180
    • Просмотр профиля
    • Комтрейдинг
Re: скопировать только уникальные файлы
« Ответ #2 : 16 Января 2021, 08:40:24 »
если разного размера файлы, уже подходит,
от мусора папку считай очистить
« Последнее редактирование: 16 Января 2021, 09:13:29 от slavush »
Intel CoffeeLake Core i5-9400F :: 16G 2666MHz :: SSD(m2) :: 650W :: Windows 10
Dell 3310 :: Intel(R) Core(TM) i5-8265U CPU @ 1.60GHz :: 16G DDR3 2666 MHz :: M.2 NVME :: Windows 10

Dzhoser

  • Гость
Re: скопировать только уникальные файлы
« Ответ #3 : 16 Января 2021, 10:09:00 »
(Нажмите, чтобы показать/скрыть)

Оффлайн slavush

  • Автор темы
  • Забанен
  • Участник
  • *
  • Сообщений: 180
    • Просмотр профиля
    • Комтрейдинг
Re: скопировать только уникальные файлы
« Ответ #4 : 17 Января 2021, 02:59:17 »
извиняюсь, не все озвучил..
в папке файлы, много дубляжей, да и только.. т.е. мусор.. как его..?
Intel CoffeeLake Core i5-9400F :: 16G 2666MHz :: SSD(m2) :: 650W :: Windows 10
Dell 3310 :: Intel(R) Core(TM) i5-8265U CPU @ 1.60GHz :: 16G DDR3 2666 MHz :: M.2 NVME :: Windows 10

Dzhoser

  • Гость
Re: скопировать только уникальные файлы
« Ответ #5 : 17 Января 2021, 04:02:33 »
slavush, озвучиваем дальше.
Что такое дубляж?
Файл имеет одинаковое название и разный размер?
Файл имеет разное название и одинаковый размер?
По каким критериям определить мусор?

Оффлайн slavush

  • Автор темы
  • Забанен
  • Участник
  • *
  • Сообщений: 180
    • Просмотр профиля
    • Комтрейдинг
Re: скопировать только уникальные файлы
« Ответ #6 : 18 Января 2021, 06:51:20 »
файлы складываются в папку по шедулу каждый час, полезные файлы попадаются тоьько раз в 2-3 часа
получается надо вытянуть только их
-rw-r--r--  1 root root 6954132 Jan 17 11:17 17.01.21-11:17-sellers.tar.gz
-rw-r--r--  1 root root  503034 Jan 17 12:17 17.01.21-rw-r--r--  1 root root 6954132 Jan 17 11:17 17.01.21-11:17-sellers.tar.gz
-rw-r--r--  1 root root  503034 Jan 17 12:17 17.01.21-12:17-price.tar.gz
-rw-r--r--  1 root root 6954132 Jan 17 12:17 17.01.21-12:17-sellers.tar.gz
-rw-r--r--  1 root root  503034 Jan 17 13:17 17.01.21-13:17-price.tar.gz
-rw-r--r--  1 root root 6954132 Jan 17 13:17 17.01.21-13:17-sellers.tar.gz
-rw-r--r--  1 root root  503234 Jan 17 14:17 17.01.21-14:17-price.tar.gz
-rw-r--r--  1 root root 6930636 Jan 17 14:17 17.01.21-14:17-sellers.tar.gz
-rw-r--r--  1 root root  503234 Jan 17 15:17 17.01.21-15:17-price.tar.gz
-rw-r--r--  1 root root 6930636 Jan 17 15:17 17.01.21-15:17-sellers.tar.gz
-rw-r--r--  1 root root  507354 Jan 17 16:17 17.01.21-16:17-price.tar.gz
-rw-r--r--  1 root root 7181752 Jan 17 16:17 17.01.21-16:17-sellers.tar.gz
-rw-r--r--  1 root root  507354 Jan 17 17:17 17.01.21-17:17-price.tar.gz
-rw-r--r--  1 root root 7181752 Jan 17 17:17 17.01.21-17:17-sellers.tar.gz
-rw-r--r--  1 root root  507354 Jan 17 18:17 17.01.21-18:17-price.tar.gz
-rw-r--r--  1 root root 7181752 Jan 17 18:17 17.01.21-18:17-sellers.tar.gz
-rw-r--r--  1 root root  495686 Jan 17 19:17 17.01.21-19:17-price.tar.gz
-rw-r--r--  1 root root 7796179 Jan 17 19:17 17.01.21-19:17-sellers.tar.gz
-rw-r--r--  1 root root  495686 Jan 17 20:17 17.01.21-20:17-price.tar.gz
-rw-r--r--  1 root root 7796179 Jan 17 20:17 17.01.21-20:17-sellers.tar.gz
-rw-r--r--  1 root root  495686 Jan 17 21:17 17.01.21-21:17-price.tar.gz
-rw-r--r--  1 root root 7796179 Jan 17 21:17 17.01.21-21:17-sellers.tar.gz
-rw-r--r--  1 root root  495686 Jan 17 22:17 17.01.21-22:17-price.tar.gz
-rw-r--r--  1 root root 7796179 Jan 17 22:17 17.01.21-22:17-sellers.tar.gz
-rw-r--r--  1 root root  495686 Jan 17 23:17 17.01.21-23:17-price.tar.gz
-rw-r--r--  1 root root 7796179 Jan 17 23:17 17.01.21-23:17-sellers.tar.gz
-rw-r--r--  1 root root  495686 Jan 18 00:17 18.01.21-00:17-price.tar.gz
-rw-r--r--  1 root root 7796179 Jan 18 00:17 18.01.21-00:17-sellers.tar.gz
-rw-r--r--  1 root root  495686 Jan 18 01:17 18.01.21-01:17-price.tar.gz

весь сыр бор изза того что инкрон почемуто не работает, с Ubuntu только начал работать, я открывал топик тоже..
вручную приходится ковыряться  :(
« Последнее редактирование: 18 Января 2021, 06:53:02 от slavush »
Intel CoffeeLake Core i5-9400F :: 16G 2666MHz :: SSD(m2) :: 650W :: Windows 10
Dell 3310 :: Intel(R) Core(TM) i5-8265U CPU @ 1.60GHz :: 16G DDR3 2666 MHz :: M.2 NVME :: Windows 10

Dzhoser

  • Гость
Re: скопировать только уникальные файлы
« Ответ #7 : 18 Января 2021, 07:11:01 »
slavush, что такое полезный файл? Вам не ответят пока вы не напишите их критерии. Или вы так тонко тролите?
« Последнее редактирование: 18 Января 2021, 10:32:13 от Dzhoser »

Оффлайн jurganov

  • Старожил
  • *
  • Сообщений: 1402
    • Просмотр профиля
Re: скопировать только уникальные файлы
« Ответ #8 : 18 Января 2021, 10:16:54 »
вроде отвечал, а ответ не вижу

https://losst.ru/poisk-dublikatov-fajlov-v-linux это??
ищи дубликаты. и удаляй

Оффлайн ALiEN

  • Администратор
  • Старожил
  • *
  • Сообщений: 6690
  • 20% Cooler
    • Просмотр профиля
Re: скопировать только уникальные файлы
« Ответ #9 : 18 Января 2021, 10:47:38 »
Код: (bash) [Выделить]
for f in ./*.tar.gz ; do shasum $f ; done | sort -uk1,1 | cut -d\  -f3 | xargs -I{} cp -v {} Output_directory/
🖥 AsRock B550M Pro4 :: AMD Ryzen 5 3600 :: 16 GB DDR4 :: AMD Radeon RX 6600 :: XFCE
💻 ACER 5750G :: Intel Core i5-2450M :: 6 GB DDR3 :: GeForce GT 630M :: XFCE

Оффлайн EvangelionDeath

  • Администратор
  • Старожил
  • *
  • Сообщений: 3487
  • Ubuntu 22.04 х64
    • Просмотр профиля
Re: скопировать только уникальные файлы
« Ответ #10 : 18 Января 2021, 17:50:15 »
а еще придумали rsync и инкрементальный бэкап
HP Pro 840 G3: Intel i5-6300U, 32GB DDR4 2133MHz, Intel 520, Intel Pro 2500 180GB/Ubuntu 22.04
Dell Latitude 5590: Intel i5-8350U, 16GB DDR4 2400MHz, Intel 620, Samsung 1TB/Ubuntu 22.04

Оффлайн slavush

  • Автор темы
  • Забанен
  • Участник
  • *
  • Сообщений: 180
    • Просмотр профиля
    • Комтрейдинг
Re: скопировать только уникальные файлы
« Ответ #11 : 04 Марта 2021, 02:57:20 »
Поднимал топик https://forum.ubuntu.ru/index.php?topic=314045.0
надо оставить в директории только уникальные файлы (в директоии 2400 файлов)
названия одинаковые (два файла), отличаются только по размеру
-rw-r--r--  1 root root  9680235 Jan 31 15:17 31.01.21-15:17-sellers.tar.gz
-rw-r--r--  1 root root  1268708 Jan 31 16:17 31.01.21-16:17-price.tar.gz
-rw-r--r--  1 root root  9680235 Jan 31 16:17 31.01.21-16:17-sellers.tar.gz
-rw-r--r--  1 root root  1268708 Jan 31 17:17 31.01.21-17:17-price.tar.gz
-rw-r--r--  1 root root  9680235 Jan 31 17:17 31.01.21-17:17-sellers.tar.gz
-rw-r--r--  1 root root  1268708 Jan 31 18:17 31.01.21-18:17-price.tar.gz
-rw-r--r--  1 root root  9680235 Jan 31 18:17 31.01.21-18:17-sellers.tar.gz
-rw-r--r--  1 root root  1268708 Jan 31 19:17 31.01.21-19:17-price.tar.gz
-rw-r--r--  1 root root  9680235 Jan 31 19:17 31.01.21-19:17-sellers.tar.gz
-rw-r--r--  1 root root  1268708 Jan 31 20:17 31.01.21-20:17-price.tar.gz
-rw-r--r--  1 root root  9680235 Jan 31 20:17 31.01.21-20:17-sellers.tar.gz
-rw-r--r--  1 root root  1268708 Jan 31 21:17 31.01.21-21:17-price.tar.gz
-rw-r--r--  1 root root  9680235 Jan 31 21:17 31.01.21-21:17-sellers.tar.gz
-rw-r--r--  1 root root  1268708 Jan 31 22:17 31.01.21-22:17-price.tar.gz
-rw-r--r--  1 root root  9680235 Jan 31 22:17 31.01.21-22:17-sellers.tar.gz
-rw-r--r--  1 root root  1268708 Jan 31 23:17 31.01.21-23:17-price.tar.gz
-rw-r--r--  1 root root  9680235 Jan 31 23:17 31.01.21-23:17-sellers.tar.gz
-rw-r--r--  1 root root 10471544 Feb 23 11:45 sellers.json-02-23_11-45-22.tgz

пробую
for f in ./*.tar.gz ; do shasum $f ; done | sort -uk1,1 | cut -d\  -f3 | xargs -I{} cp -v {} Output_directory/

но в Output_directory/ получаю копии этих файлов в том же количестве, а должно быть всего 3 файла
-rw-r--r--  1 root root  9680235 Jan 31 15:17 31.01.21-15:17-sellers.tar.gz
-rw-r--r--  1 root root  1268708 Jan 31 16:17 31.01.21-16:17-price.tar.gz
-rw-r--r--  1 root root 10471544 Feb 23 11:45 sellers.json-02-23_11-45-22.tgz

Цитата: Правила форума
2. На форуме ЗАПРЕЩЕНО
2.7. Создавать одинаковые темы, публиковать одинаковые сообщения в разных темах, а также добавлять новые темы в неподходящие разделы. Старайтесь чётко определять тематику Вашего сообщения и помещать его в соответствующий раздел форума.

Темы объединил
-- ALiEN175
« Последнее редактирование: 04 Марта 2021, 09:50:46 от ALiEN175 »
Intel CoffeeLake Core i5-9400F :: 16G 2666MHz :: SSD(m2) :: 650W :: Windows 10
Dell 3310 :: Intel(R) Core(TM) i5-8265U CPU @ 1.60GHz :: 16G DDR3 2666 MHz :: M.2 NVME :: Windows 10

Оффлайн andytux

  • Заслуженный пользователь
  • Старожил
  • *
  • Сообщений: 6834
    • Просмотр профиля
Re: скопировать только уникальные файлы
« Ответ #12 : 04 Марта 2021, 05:48:31 »
"Чисто не там , где убирают, а там, где не мусорят."
Цитировать
в директоии 2400 файлов
Что-то изначально неверно в твоей системе. Научи ее "не мусорить".

Оффлайн ALiEN

  • Администратор
  • Старожил
  • *
  • Сообщений: 6690
  • 20% Cooler
    • Просмотр профиля
Re: скопировать только уникальные файлы
« Ответ #13 : 04 Марта 2021, 09:52:46 »
но в Output_directory/ получаю копии этих файлов в том же количестве,

for f in ./*.tar.gz ; do shasum $f ; doneЧто выдаёт? Весь вывод не надо, строчек 10 скопируйте просто для примера.
« Последнее редактирование: 04 Марта 2021, 09:55:53 от ALiEN175 »
🖥 AsRock B550M Pro4 :: AMD Ryzen 5 3600 :: 16 GB DDR4 :: AMD Radeon RX 6600 :: XFCE
💻 ACER 5750G :: Intel Core i5-2450M :: 6 GB DDR3 :: GeForce GT 630M :: XFCE

Оффлайн slavush

  • Автор темы
  • Забанен
  • Участник
  • *
  • Сообщений: 180
    • Просмотр профиля
    • Комтрейдинг
Re: скопировать только уникальные файлы
« Ответ #14 : 04 Марта 2021, 13:06:33 »

Пользователь добавил сообщение 04 Марта 2021, 13:08:23:
"Чисто не там , где убирают, а там, где не мусорят."
Цитировать
в директоии 2400 файлов
Что-то изначально неверно в твоей системе. Научи ее "не мусорить".
шедулером поставил каждый час бекапить файл чтоб ничего не потерялось,
скрипт в /etc/cron.hourly  поместил

root@hotline:~/archiv_all_test# for f in ./*.tar.gz ; do shasum $f ; done
12ff627bb867686186bb47c6646b1fb8e8d1ee0c  ./31.01.21-15:17-sellers.tar.gz
75862edd3333a8cfa7dbf9833fcc8c047ef39b8b  ./31.01.21-16:17-price.tar.gz
605a50bd13e8e37d81475353e6ad683d4a295865  ./31.01.21-16:17-sellers.tar.gz
4be623695ec5790de60d6c6b2366c362fd115226  ./31.01.21-17:17-price.tar.gz
82d88ee05481e26b83fc9858ba21c122a37a4d0a  ./31.01.21-17:17-sellers.tar.gz
f83a05d92a379d6e27ef5cf493736f81a4a29c44  ./31.01.21-18:17-price.tar.gz
9cf950a4bb2672869e71962770d888e281a3e766  ./31.01.21-18:17-sellers.tar.gz
3ad9c578214c7d0553f4ef994337f080db65d87f  ./31.01.21-19:17-price.tar.gz
35e20426e7596f9a7ce3f31be6c200aaf5fa3481  ./31.01.21-19:17-sellers.tar.gz
84ef18262c74f2f79031a64701ca219f92cc4c91  ./31.01.21-20:17-price.tar.gz
c5d307bd0ca183125d2d8f593354f33ab28d8e67  ./31.01.21-20:17-sellers.tar.gz
c080ce499ab4783f2138d604574b92dfa6613349  ./31.01.21-21:17-price.tar.gz
227b99a3e73c07af689f06a78a649e5156ffdf33  ./31.01.21-21:17-sellers.tar.gz
1fb4d73be435663592b4b0b83cb3584df99c96f9  ./31.01.21-22:17-price.tar.gz
a74594ab5eb48338d8ae4a2d207326341074357c  ./31.01.21-22:17-sellers.tar.gz
33f9ff0e2e6badc5b5e29b5592529ac6c110e840  ./31.01.21-23:17-price.tar.gz
c91ce5663fa32a76396ff958b02fd60ef0c6722a  ./31.01.21-23:17-sellers.tar.gz
мне дальше что с ними делать, надо уникальные скопировать или неуникальные удалить
« Последнее редактирование: 04 Марта 2021, 13:11:15 от ALiEN175 »
Intel CoffeeLake Core i5-9400F :: 16G 2666MHz :: SSD(m2) :: 650W :: Windows 10
Dell 3310 :: Intel(R) Core(TM) i5-8265U CPU @ 1.60GHz :: 16G DDR3 2666 MHz :: M.2 NVME :: Windows 10

 

Страница сгенерирована за 0.031 секунд. Запросов: 25.