Низкая скорость копирования

[DJArty]

Хм да похоже и я рано радовался что ли. На домашней машине всё норм, а на рабочей новый ntfs-3g что-то не заметно что б помог.
Но видно что проблема как минимум не аппаратная.
На той же проблемной машине та же LiveCD Lubuntu (на базе той же 9.10, с такими же версиями ntfs-3g, fuser, fusermount) нормально записывает на флэшину. Ядра 31-9 против 31-16. Кто ещё остается крайний.. hal, определение девайса в виде SCSI и примочек скорописания и кєширования...
Надо копать дальше. 

[iZVerG]

DJArty Спасибо!!! Поставил, но не помогло
к стати а как ты по моему логу определил что не хватает пакета libattr1-dev

[alex_pa]

iZVerG, скорее всего по этой строке

Код: [Выделить]

secaudit.c:262:24: error: attr/xattr.h: No such file or directory

[iZVerG]

Кажись нашел в чем по крайней мере у меня проблема....

(Нажмите, чтобы показать/скрыть)

lshw
     *-usb:0
             description: USB Controller
             product: 82801G (ICH7 Family) USB UHCI Controller #1
             vendor: Intel Corporation
             physical id: 1d
             bus info: pci@0000:00:1d.0
             version: 02
             width: 32 bits
             clock: 33MHz
             capabilities: bus_master
             configuration: driver=uhci_hcd latency=0  ##Драйвер почему-то грузится под USB1.1 хотя они и 2.0
             resources: irq:23 ioport:c480(size=32)
        *-usb:1
             description: USB Controller
             product: 82801G (ICH7 Family) USB UHCI Controller #2
             vendor: Intel Corporation
             physical id: 1d.1
             bus info: pci@0000:00:1d.1
             version: 02
             width: 32 bits
             clock: 33MHz
             capabilities: bus_master
             configuration: driver=uhci_hcd latency=0   ##Драйвер почему-то грузится под USB1.1 хотя они и 2.0
             resources: irq:19 ioport:c800(size=32)
        *-usb:2
             description: USB Controller
             product: 82801G (ICH7 Family) USB UHCI Controller #3
             vendor: Intel Corporation
             physical id: 1d.2
             bus info: pci@0000:00:1d.2
             version: 02
             width: 32 bits
             clock: 33MHz
             capabilities: bus_master
             configuration: driver=uhci_hcd latency=0   ##Драйвер почему-то грузится под USB1.1 хотя они и 2.0
             resources: irq:18 ioport:c880(size=32)
        *-usb:3
             description: USB Controller
             product: 82801G (ICH7 Family) USB UHCI Controller #4
             vendor: Intel Corporation
             physical id: 1d.3
             bus info: pci@0000:00:1d.3
             version: 02
             width: 32 bits
             clock: 33MHz
             capabilities: bus_master
             configuration: driver=uhci_hcd latency=0   ##Драйвер почему-то грузится под USB1.1 хотя они и 2.0
             resources: irq:16 ioport:cc00(size=32)
        *-usb:4
             description: USB Controller
             product: 82801G (ICH7 Family) USB2 EHCI Controller
             vendor: Intel Corporation
             physical id: 1d.7
             bus info: pci@0000:00:1d.7
             version: 02
             width: 32 bits
             clock: 33MHz
             capabilities: bus_master cap_list
             configuration: driver=ehci_hcd latency=0  ##а здесь все норм
             resources: irq:23 memory:fb5ffc00-fb5fffff

пока роюсь дальше...

[alex_pa]

Кажись нашел в чем по крайней мере у меня проблема....

Насколько я понимаю, это нормально (с драйверами всмысле), судя по этой http://en.wikipedia.org/wiki/Host_controller_interface информации.

EHCI only provides high speed USB functions. It relies on a "companion controller", either OHCI or UHCI, to handle full and low speed devices. Motherboards and PCI Cards that provide high speed ports thus have two controllers, one handling high speed devices and the other handling low and full speed devices.

It is not uncommon to find UHCI, OHCI and EHCI all co-existing within a standard PC, with a UHCI driver providing low and full speed functions on the (Intel chipset) motherboard, an OHCI driver providing low and full speed functions for the USB ports on an add-in (NEC chipset) PCI expansion card, and an EHCI driver providing high speed functions for the USB ports on that expansion card.

На русском там нету, но тут помоему все четко объясняется.

[iZVerG]

alex_pa ты меня прям растроил... Я вот наткнулся на http://www.linux.org.ru/view-message.jsp?msgid=3625209 и думал что у меня типично...
дальше даже не знаю в какую сторону копать...
остается только попробовать понять почему с начала файлы пишутся с нормальной скоростью, но постепенно она падает до 0,5 Мб/сек... Многие говорят что сначала быстро заполняется кэш а потом происходит сама запись, но чет я и пробовал монтировать флешки с разными параметрами в том числе и без кэша, но постоянно та же картина
Сейчас ко мне вернулась одна старенькая 4Гб флешка, с одной особенностью. Она умеет писаться на скорости 20Мб/сек!!! так вот решил с ней попробовать, кинул на нее файлик примерно 3,5Гб. До 800Мб она держала скорость на уровне 19,5 Мб/сек потом постепенно начала спадать и к 2Гб записи скорость составляла 5-6Мб/сек, дальше хуже к 2,5Гб 0.7Мб/сек. так что про кэш как-то не верится, из-за него скорость бы упала ну максимум до 15Мб/сек., но не как до 0,7

[alex_pa]

alex_pa ты меня прям растроил... Я вот наткнулся на http://www.linux.org.ru/view-message.jsp?msgid=3625209 и думал что у меня типично...
дальше даже не знаю в какую сторону копать...
остается только попробовать понять почему с начала файлы пишутся с нормальной скоростью, но постепенно она падает до 0,5 Мб/сек... Многие говорят что сначала быстро заполняется кэш а потом происходит сама запись, но чет я и пробовал монтировать флешки с разными параметрами в том числе и без кэша, но постоянно та же картина
Сейчас ко мне вернулась одна старенькая 4Гб флешка, с одной особенностью. Она умеет писаться на скорости 20Мб/сек!!! так вот решил с ней попробовать, кинул на нее файлик примерно 3,5Гб. До 800Мб она держала скорость на уровне 19,5 Мб/сек потом постепенно начала спадать и к 2Гб записи скорость составляла 5-6Мб/сек, дальше хуже к 2,5Гб 0.7Мб/сек. так что про кэш как-то не верится, из-за него скорость бы упала ну максимум до 15Мб/сек., но не как до 0,7

По моим наблюдениям, копирование идет так: сначала показывает космическую скорость (заполняется кеш), потом,через секунд 20, начинает мигать/светится индикатор на флешке (начинает копировать из кеша на флешку), при этом индикатор копирования "подвисает" и скорость "падает", через какое-то время индикатор "отвисает" и скорость скачком увеличивается, потом снова "подвисает". Незнаю как у кого, но у меня так всегда копирует, но если засечь по времени копирования (на большинстве флешек) получается адекватная скорость (несмотря на странный процесс копирования). Стабильная скорость получается только если носитель-приемник быстрее чем носитель источник, например когда копирую с нфс-шары (комп старый,и больше 5,5-6Мб/с не отдает) на флешку (может писать на 7-8Мб/с) - то скорость всегда стабильна.

[iZVerG]

alex_pa у меня на 4-х тестируемых флехах индикатор начинает мигать сразу, потом попозже может он и "подвисает", но этого особо не видно... Главное что бесит это что скорость довольно быстро падает и останавливается на 0.5Мб/сек. и в итоге на флешку с заявленной производителем скоростью записи в 7Мб/сек 1 файл объемом 1.6 Гб пишется  в течении 4 часов!!! Я уже перепробовал форматировать флешку в различные файловые системы ничего не помагает...
Тут оговорюсь что впервые встретил эту траблу еще в 8.04, но там какие-то флешки работали нормально, а какие-то точно также... Тоже самое было в  8.10 и 9.04, а вот 9.10 теперь все флешки ведут себя одинаково

[alex_pa]

alex_pa у меня на 4-х тестируемых флехах индикатор начинает мигать сразу, потом попозже может он и "подвисает", но этого особо не видно...

Насчет "подвисания" я имел ввиду индикатор (прогресбар, etc.) копирования в программе,которой копируешь. Он замирает время от времени, а лампочка на флешке при этом не перестает мигать.

Вот протестировал валяющуюся у меня сейчас флешку:  Transcend JetFlash TS2GJFV60 (http://www.nix.ru/autocatalog/usb_flash_drive_transcend/Transcend_TS2GJFV60_JetFlash_V60_USB2.0_Flash_Drive_2Gb_56415.html)

Код: [Выделить]

File read : 731760640 - 0:30 - 23.26 Mb/s
File write: 731760640 - 3:48 - 3.06 Mb/s
большое число - это размер файла в байтах, замерял время копирования просто секундомером, начиная от нажатия на "Энтер" в диалоге копирования и до того как перестанет мигать лампочка на флешке. по скорости записи совпадает с описанием на сайте (хотя кто знает, достоверны ли там данные), а скорость чтения даже переплюнула описание больше чем в два раза...

[DJArty]

Вот такие наблюдения:
Перезагружаем операционку, ничего не запускаем, вставляем флэху, с винта на неё копируем файл 600мб
Первые 150мб пролетают из/в кэш(а) потом скорость постепенно снижается с 11 до ~7Мб/с под конец (7-8 и есть нормальная для имеющейся флэши)
Вроде бы можно радоваться, НО..
Вынимаем флэшину. Втыкаем по новой.
Запускаем к примеру Оперу, у меня там сначала идёт проверка RSS-лент (т.е. по идее работа с мелкими файлами), загружаем страничку нагруженную флэшом.
Переходим к флэшке.  Создаем новый каталог и в него копируем именно тот же файл 600Мб с винта.
Видим по началу снова пролёт 120Мб а потом резкое уменьшение скорости, в середине около 3Мб/с а под конец записи ~1Мб/с  кот. на самом деле вполне себе 0,5Мб/с.
Думаем дальше )
Из имеющегося (делимся конфигами):
USB-Flash  ID 1307:0163
*-usb:1
          description: USB Controller
          product: MCP61 USB Controller
          vendor: nVidia Corporation
ФС на винте: ext4


 
Пользователь решил продолжить мысль 25 Декабря 2009, 16:34:01:Так. похоже камень будет в огород ext4 или винта или работы Убунты с винтом или файловой системой.
Делаем в любое отработанное время копирование из нуля на флэшку:
dd if=/dev/zero of=/media/flash/test.txt bs=1M count=600
600+0 записей считано
600+0 записей написано
скопировано 629145600 байт (629 MB), 65,7827 c, 9,6 MB/c

Но тут надо таки учесть что dd копирует побайтно и видимо не смотрит что ли на тип ФС...  
Если так, тогда еще не понятно виновата работа драйвера для флэшового NTFS или винтового ext4 или обеих во взаимодействии
Тёмный лес

[yurik11]

Насколько я понимаю dd в зависимости от файла-приемника пишет или обращая внимание на файловую систему или нет. Если, как делали вы, копирование в настоящий файл test.txt на флешке, то естественно оно делается по правилам файловой системы. Если же "фаилом"-приемником будет сам диск /media/flash, то от файловой системы ничего зависеть не будет. Более того она будет убита. И такую операцию система позволит делать только под правами roota.

[DJArty]

В принципе да.. преувеличиваю способности dd именно в данном случае.. если б писал непосредственно в dev sdb то хорошо бі почистил ФС а так файл как файл получился.. но это о чём тогда может сказать - о том что ntfs-3g якові со своей задачей справляется..
И кто с краю остается? Источник на ext4? I/O с винтом? Не хотелось бы что б так всё оказалось )
Ещё проскакивало что Nautilus где-то кривит.. но картина со скоростью в MC аналогичная. Давайле конфиги железа что ли.. или тренировать винт на ext4

[iZVerG]

После обновления пакета mount скорость стала приемлемой  Даже очень хорошей 1.4 Гб меньше чем за 6 минут  то есть примерно 4.1 Мб/сек при заявленых производителем 5 Мб/сек!!! Прям кайф после того как тот-же файл писал на протяжении 4 часов!!!

[DJArty]

что за "обновления пакета mount "?

[DJArty]

В очередной раз убедился что после тормозов в наутилусе и МС
с отличной скоростью копируется с помощью dd
Кто нибудь знает в чём отличие копирования с пом dd от движка копирования Nautilus и MC ( cp ??)
мож прослойка fuse...vfs - чеголибо там мешает ?
или тупо размеры блоков для копирования минимальны, что не перетравливается флэшой