Форум русскоязычного сообщества Ubuntu


Автор Тема: Медленный процесс записи флешки на Линукс  (Прочитано 1534 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн dikiyZ

  • Автор темы
  • Активист
  • *
  • Сообщений: 329
  • Убунтоид, как правило, человек. Но такой занудный!
    • Просмотр профиля
 Юзаю линукс с 2008 и ВСЕГДА, на семи разных машинах, скорость записи на флешку была меньше, чем на других ОС. Есть ли рецепты как улучшить?
 Новая флешка, usb3, 128Гб, в одном и том же разъёме USB (usb3) показывает такую среднюю скорость:
(Нажмите, чтобы показать/скрыть)

Но при тесте было несколько "зависаний", когда скорость падала до 0, что явно видно на графике. Однако жулики, писавшие программу, хитро предпочли не учитывать их, поэтому данные получились как в windows. На деле же, по секундомеру- скорость копирования под линукс примерно 1/4 от виндовс.
Файловая система, с которой производилось копирование: ext4
Файловая система флешки: FAT32, на extFAT результаты аналогичны.

Что делал, следуя советам линуксоидов:
открыть файл /etc/sysctl.conf
и дописать строки:
 vm.dirty_bytes = 8388608
vm.dirty_background_bytes = 8388608

применить изменения:
sudo sysctl -p
------
Разумеется, это не помогло. Большие файлы (более 1ГБ, 4.7Гб) копируются с хорошей скоростью, но затем запись падает до нуля и через долгую паузу копирование возобновляется. Судя по всему, размер ОЗУ на это не влияет, так как есть 8Гб, из которых 7Гб свободны.
 Какие ещё заклинания предложите ввести в консоль, чтобы скорость записи была хотя бы вполовину, а не четверть от OC windows?
« Последнее редактирование: 14 Март 2020, 11:57:02 от dikiyZ »
если система просто работает без дополнительного шаманства, то теряется ощущение собственной элитности. Вот почему нам нужен линукс.
 Предупреждён администрацией форума за неоднократное чувство юмора

Оффлайн suslikk

  • Старожил
  • *
  • Сообщений: 2457
    • Просмотр профиля
dikiyZ, кто то на форуме недавно поднимал вашу тему... не могу найти. Тут как всегда виновата файловая система. Которая либо FAT32 или NTFS, скорее всего.
Нарисуй свой город на openstreetmap.org

Оффлайн dikiyZ

  • Автор темы
  • Активист
  • *
  • Сообщений: 329
  • Убунтоид, как правило, человек. Но такой занудный!
    • Просмотр профиля
 Я читал эту тему и участвовал в обсуждении. Предложенное там решение приведено в первом сообщении. Эффекта от заклинаний не обнаружено на трёх разных PC с ubuntu 18.04.3, kubuntu 18.10, Linux Mint 19.3 Tricia.
если система просто работает без дополнительного шаманства, то теряется ощущение собственной элитности. Вот почему нам нужен линукс.
 Предупреждён администрацией форума за неоднократное чувство юмора

Оффлайн Morisson

  • Модератор раздела
  • Старожил
  • *
  • Сообщений: 4577
    • Просмотр профиля
Что делал, следуя советам линуксоидов
а вы не следуйте, а разберитесь, что это за параметры.

Оффлайн dikiyZ

  • Автор темы
  • Активист
  • *
  • Сообщений: 329
  • Убунтоид, как правило, человек. Но такой занудный!
    • Просмотр профиля
vm.dirty_background_ratio is the percentage of system memory that can be filled with “dirty” pages — memory pages that still need to be written to disk — before the pdflush/flush/kdmflush background processes kick in to write it to disk. My example is 10%, so if my virtual server has 8 GB of memory that’s 0.8 GB of data that can be sitting in RAM before something is done.

vm.dirty_ratio is the absolute maximum amount of system memory that can be filled with dirty pages before everything must get committed to disk. When the system gets to this point all new I/O blocks until dirty pages have been written to disk. This is often the source of long I/O pauses, but is a safeguard against too much data being cached unsafely in memory.
 
 Прочёл три раза, осознал. Изменил в 2, затем 10 раз первоначальные циферки в сторону как уменьшения так и увеличения. Не стало быстрей копировать. "Разберитесь" не помогло.
 Morisson, Вы уверены, что понимание заклинаний усиливает их свойства?
« Последнее редактирование: 12 Март 2020, 23:21:47 от dikiyZ »
если система просто работает без дополнительного шаманства, то теряется ощущение собственной элитности. Вот почему нам нужен линукс.
 Предупреждён администрацией форума за неоднократное чувство юмора

Оффлайн Киргуду

  • Новичок
  • *
  • Сообщений: 19
    • Просмотр профиля

Оффлайн РыжийПёс

  • Активист
  • *
  • Сообщений: 690
  • 好红狼
    • Просмотр профиля
Да, есть такая проблема. Беда у Ubuntu с флешками, если речь идёт о больших файлах.
Я полагаю, это какой-то баг ядра. При этом, внешние жесткие диски работают стабильно (в среднем примерно 60 МБ/с для USB 3.0 и 20 МБ/с для USB 2.0), а вот именно с флешками творится какая-то чертовщина: скорость копирования крайне неравномерная (судя по графику в соответствующем виджете KDE), то с какой-то фантастической скоростью, то вообще с нулевой. Думал, может какие-то глюки окружения, пробовал в консоли через mc, но там при копировании какого-либо большого файла прогрессбар сначала ползёт нормально, а дойдя до конца, задумывается на некоторое время, прежде чем начинается копирование следующего файла, при этом индикатор на самой флешке (если он есть) мигает (так, как будто идёт чтение/запись).
Каждый отдельно взятый человек, перешедший на GNU Linux, приближает всё остальное человечество к Светлому Будущему.

Оффлайн dikiyZ

  • Автор темы
  • Активист
  • *
  • Сообщений: 329
  • Убунтоид, как правило, человек. Но такой занудный!
    • Просмотр профиля
Экспериментировал с разными параметрами циферок. Данные приведены для:
vm.dirty_bytes = 8388608
vm.dirty_background_bytes = 8388608

Выяснил, что их применение либо изменение только вредит процессу записи. Убрал из /etc/sysctl.conf эту ересь, стало лучше примерно на 5%
 Внизу графики для: usb3, 128Гб и древняя флешка, ей 10лет, usb2.0, 8Гб.
 Все флешки отформатированы в fat32. Система расположена на новом SSD.

Для сравнения: windows10, usb3, 128Гб, скорость записи примерно 50Мб (без проседаний, равномерная). В kubuntu  gnome-disks лукаво не учитывает в конечном результате паузы до 0 при записи. По секундомеру скорость записи контрольного файла 4.1Гб ниже примерно в 4 раза.

usb2.0, 8Гб: windows10, скорость записи около 12Мб/с, равномерная.
В kubuntu видны небольшие скачки, без провалов до 0. Скорость записи контрольного файла 4.1Гб вдвое ниже.
 При всех своих недостатках, линукс ещё и гораздо медленней работает с флешками, это факт...




« Последнее редактирование: 13 Март 2020, 23:58:32 от dikiyZ »
если система просто работает без дополнительного шаманства, то теряется ощущение собственной элитности. Вот почему нам нужен линукс.
 Предупреждён администрацией форума за неоднократное чувство юмора

Оффлайн Morisson

  • Модератор раздела
  • Старожил
  • *
  • Сообщений: 4577
    • Просмотр профиля
vm.swappiness = 5
vm.dirty_ratio = 5
vm.dirty_background_ratio = 3
vm.overcommit_ratio = 100
vm.overcommit_memory = 1
vm.dirty_background_bytes = 4194304
vm.dirty_bytes = 4194304

в sysctl.conf
+
в /etc/tmpfiles.d/local.conf
w /sys/kernel/mm/transparent_hugepage/enabled - - - - madvise
w /sys/kernel/mm/transparent_hugepage/defrag - - - - madvise
w /sys/kernel/mm/transparent_hugepage/khugepaged/defrag - - - - 0

Оффлайн Morisson

  • Модератор раздела
  • Старожил
  • *
  • Сообщений: 4577
    • Просмотр профиля
Проблем с копированием никогда не наблюдал
Но у меня не Ubuntu

Оффлайн Morisson

  • Модератор раздела
  • Старожил
  • *
  • Сообщений: 4577
    • Просмотр профиля
ну и планировщик у меня установлен
cat /etc/udev/rules.d/60-ioschedulers.rules# set scheduler for non-rotating disks
ACTION=="add|change", KERNEL=="sd[a-z]|mmcblk[0-9]*|nvme[0-9]*", ATTR{queue/rotational}=="0", ATTR{queue/scheduler}="mq-deadline"
# set scheduler for rotating disks
ACTION=="add|change", KERNEL=="sd[a-z]", ATTR{queue/rotational}=="1", ATTR{queue/scheduler}="bfq"
Но это скорее влияет на отзывчивость системы, чем на скорость записи

Оффлайн dikiyZ

  • Автор темы
  • Активист
  • *
  • Сообщений: 329
  • Убунтоид, как правило, человек. Но такой занудный!
    • Просмотр профиля
 Нет, эта ересь не помогает. После помещения заклинаний в оба файла и перезагрузки,  процесс копирования и по времени дольше, и визуально выглядит чуть похуже. См. приаттаченный файл. 
 
если система просто работает без дополнительного шаманства, то теряется ощущение собственной элитности. Вот почему нам нужен линукс.
 Предупреждён администрацией форума за неоднократное чувство юмора

Оффлайн бамбук

  • Активист
  • *
  • Сообщений: 541
  • Kubuntu 20.04 LTS x86_64
    • Просмотр профиля
В общем то ничего удивительного так как использовался:
компьютер созданный для виндоус
файловая система созданная для видоус
и т.д.

конкурентную борьбу никто не отменял .

Чего тогда на маке не тестируете или купите свободные железяки получившие сертификат .
Также где тесты с серверного железа .

Для объективности Чепуха ваше тестирование .
« Последнее редактирование: 14 Март 2020, 12:40:37 от бамбук »
Chuwi LapBook 14.1   ревизия ноутбука-3.0

Оффлайн РыжийПёс

  • Активист
  • *
  • Сообщений: 690
  • 好红狼
    • Просмотр профиля
компьютер созданный для виндоус
С чего Вы это взяли? Где об этом упоминается? (модели ПК тут вроде не указаны)
файловая система созданная для видоус
Насколько я помню, ЖИР существовал и использовался ещё в эпоху DOS... Но и с ext2 скорость копирования на флешку больших объёмов данных отнюдь не радует.
... Вы бы ещё написали "флешка, созданная для шиндовс"...  ;D
Каждый отдельно взятый человек, перешедший на GNU Linux, приближает всё остальное человечество к Светлому Будущему.

Оффлайн бамбук

  • Активист
  • *
  • Сообщений: 541
  • Kubuntu 20.04 LTS x86_64
    • Просмотр профиля
РыжийПёс
даже отвечать не хочется
читай больше ... развивай кругозор
« Последнее редактирование: 14 Март 2020, 18:35:42 от бамбук »
Chuwi LapBook 14.1   ревизия ноутбука-3.0

 

Страница сгенерирована за 0.105 секунд. Запросов: 24.