Медленный процесс записи флешки на Линукс

[dikiyZ]

 Юзаю линукс с 2008 и ВСЕГДА, на семи разных машинах, скорость записи на флешку была меньше, чем на других ОС. Есть ли рецепты как улучшить?
 Новая флешка, usb3, 128Гб, в одном и том же разъёме USB (usb3) показывает такую среднюю скорость:

(Нажмите, чтобы показать/скрыть)

gnome-disks:
средняя скорость чтения: 185,2 МБ/с. (100 фрагментов)
средняя скорость записи: 54,1 МБ/с. (100 фрагментов)
среднее время доступа: 0,90 мс (1000 фрагментов)
 
sudo hdparm -Tt /dev/sdc1

/dev/sdc1:
 Timing cached reads:   29774 MB in  1.99 seconds = 14982.11 MB/sec
 Timing buffered disk reads: 428 MB in  3.01 seconds = 142.28 MB/sec

Но при тесте было несколько "зависаний", когда скорость падала до 0, что явно видно на графике. Однако жулики, писавшие программу, хитро предпочли не учитывать их, поэтому данные получились как в windows. На деле же, по секундомеру- скорость копирования под линукс примерно 1/4 от Windows.
Файловая система, с которой производилось копирование: ext4
Файловая система флешки: FAT32, на extFAT результаты аналогичны.

Что делал, следуя советам линуксоидов:
открыть файл /etc/sysctl.conf
и дописать строки:
 vm.dirty_bytes = 8388608
vm.dirty_background_bytes = 8388608

применить изменения:
sudo sysctl -p
------
Разумеется, это не помогло. Большие файлы (более 1ГБ, 4.7Гб) копируются с хорошей скоростью, но затем запись падает до нуля и через долгую паузу копирование возобновляется. Судя по всему, размер ОЗУ на это не влияет, так как есть 8Гб, из которых 7Гб свободны.
 Какие ещё заклинания предложите ввести в консоль, чтобы скорость записи была хотя бы вполовину, а не четверть от OC windows?

[suslikk]

dikiyZ, кто то на форуме недавно поднимал вашу тему... не могу найти. Тут как всегда виновата файловая система. Которая либо FAT32 или NTFS, скорее всего.

[dikiyZ]

 Я читал эту тему и участвовал в обсуждении. Предложенное там решение приведено в первом сообщении. Эффекта от заклинаний не обнаружено на трёх разных PC с ubuntu 18.04.3, kubuntu 18.10, Linux Mint 19.3 Tricia.

[Morisson]

Что делал, следуя советам линуксоидов

а вы не следуйте, а разберитесь, что это за параметры.

[dikiyZ]

vm.dirty_background_ratio is the percentage of system memory that can be filled with “dirty” pages — memory pages that still need to be written to disk — before the pdflush/flush/kdmflush background processes kick in to write it to disk. My example is 10%, so if my virtual server has 8 GB of memory that’s 0.8 GB of data that can be sitting in RAM before something is done.

vm.dirty_ratio is the absolute maximum amount of system memory that can be filled with dirty pages before everything must get committed to disk. When the system gets to this point all new I/O blocks until dirty pages have been written to disk. This is often the source of long I/O pauses, but is a safeguard against too much data being cached unsafely in memory.
 
 Прочёл три раза, осознал. Изменил в 2, затем 10 раз первоначальные циферки в сторону как уменьшения так и увеличения. Не стало быстрей копировать. "Разберитесь" не помогло.
 Morisson, Вы уверены, что понимание заклинаний усиливает их свойства?

[Киргуду]

Оооо, это  пестня!
https://forum.ubuntu.ru/index.php?topic=273691.0;all

[РыжийПёс]

Да, есть такая проблема. Беда у Ubuntu с флешками, если речь идёт о больших файлах.
Я полагаю, это какой-то баг ядра. При этом, внешние жесткие диски работают стабильно (в среднем примерно 60 МБ/с для USB 3.0 и 20 МБ/с для USB 2.0), а вот именно с флешками творится какая-то чертовщина: скорость копирования крайне неравномерная (судя по графику в соответствующем виджете KDE), то с какой-то фантастической скоростью, то вообще с нулевой. Думал, может какие-то глюки окружения, пробовал в консоли через mc, но там при копировании какого-либо большого файла прогрессбар сначала ползёт нормально, а дойдя до конца, задумывается на некоторое время, прежде чем начинается копирование следующего файла, при этом индикатор на самой флешке (если он есть) мигает (так, как будто идёт чтение/запись).

[dikiyZ]

Экспериментировал с разными параметрами циферок. Данные приведены для:
vm.dirty_bytes = 8388608
vm.dirty_background_bytes = 8388608

Выяснил, что их применение либо изменение только вредит процессу записи. Убрал из /etc/sysctl.conf эту ересь, стало лучше примерно на 5%
 Внизу графики для: usb3, 128Гб и древняя флешка, ей 10лет, usb2.0, 8Гб.
 Все флешки отформатированы в fat32. Система расположена на новом SSD.

Для сравнения: windows10, usb3, 128Гб, скорость записи примерно 50Мб (без проседаний, равномерная). В kubuntu  gnome-disks лукаво не учитывает в конечном результате паузы до 0 при записи. По секундомеру скорость записи контрольного файла 4.1Гб ниже примерно в 4 раза.

usb2.0, 8Гб: windows10, скорость записи около 12Мб/с, равномерная.
В kubuntu видны небольшие скачки, без провалов до 0. Скорость записи контрольного файла 4.1Гб вдвое ниже.
 При всех своих недостатках, линукс ещё и гораздо медленней работает с флешками, это факт...

[Morisson]

Код: [Выделить]

vm.swappiness = 5
vm.dirty_ratio = 5
vm.dirty_background_ratio = 3
vm.overcommit_ratio = 100
vm.overcommit_memory = 1
vm.dirty_background_bytes = 4194304
vm.dirty_bytes = 4194304
в sysctl.conf
+
в /etc/tmpfiles.d/local.conf

Код: [Выделить]

w /sys/kernel/mm/transparent_hugepage/enabled - - - - madvise
w /sys/kernel/mm/transparent_hugepage/defrag - - - - madvise
w /sys/kernel/mm/transparent_hugepage/khugepaged/defrag - - - - 0

[Morisson]

Проблем с копированием никогда не наблюдал
Но у меня не Ubuntu

[Morisson]

ну и планировщик у меня установлен

Код: [Выделить]

cat /etc/udev/rules.d/60-ioschedulers.rules

Код: [Выделить]

# set scheduler for non-rotating disks
ACTION=="add|change", KERNEL=="sd[a-z]|mmcblk[0-9]*|nvme[0-9]*", ATTR{queue/rotational}=="0", ATTR{queue/scheduler}="mq-deadline"
# set scheduler for rotating disks
ACTION=="add|change", KERNEL=="sd[a-z]", ATTR{queue/rotational}=="1", ATTR{queue/scheduler}="bfq"Но это скорее влияет на отзывчивость системы, чем на скорость записи

[dikiyZ]

 Нет, эта ересь не помогает. После помещения заклинаний в оба файла и перезагрузки,  процесс копирования и по времени дольше, и визуально выглядит чуть похуже. См. приаттаченный файл. 
 

[бамбук]

В общем то ничего удивительного так как использовался:
компьютер созданный для виндоус
файловая система созданная для видоус
и т.д.

конкурентную борьбу никто не отменял .

Чего тогда на маке не тестируете или купите свободные железяки получившие сертификат .
Также где тесты с серверного железа .

Для объективности Чепуха ваше тестирование .

[РыжийПёс]

компьютер созданный для виндоус

С чего Вы это взяли? Где об этом упоминается? (модели ПК тут вроде не указаны)

файловая система созданная для видоус

Насколько я помню, ЖИР существовал и использовался ещё в эпоху DOS... Но и с ext2 скорость копирования на флешку больших объёмов данных отнюдь не радует.
... Вы бы ещё написали "флешка, созданная для шиндовс"... 

[бамбук]

РыжийПёс
даже отвечать не хочется
читай больше ... развивай кругозор