Как защитится от зависания системы при открытии большого файла в браузере

[EvangelionDeath]

Zenit, можете уточнить, что за процессор?

[Zenit]

Доброе утро всем.
Значит так, провел тот же самый эксперимент - заснял видео того как скопировал в буфер обьем HTML таблицы из 98500 строк и пытался вставить в LibrеOffice.
ссылка на видео https://youtu.be/BUxJkWTBolc.
И сам файлик Возможно кто-то из Вас захочет повторить этот эксперимент https://mega.nz/#!SwBS1Aqb!ksH2WNlcQR65s1qjz-6wUNo-svfXyEYMXC2IVgjUo_8

Процессор AMD FX-8300 Eight Core
ОЗУ 8 Гб

[EvangelionDeath]

Zenit, посмотрел я ваше видео %) И файлик попробовал.

Начну с финала - при попытке напрямую открыть файл в либре\даже vim нарывался на тупняк - Чем занималась Libre не в курсе, но vim все же пытался отрендерить все (применить цветовую схему и т. д., что и сделал хотя за такое составление надо... ну да ладно)

Открыл файлик в браузере - копировать - Cttl+Shift+v - вставило и в Writer (там была еще полосочка подгрузки и потом заполнило более 600 страниц, пару минут), и в Calc - все вставилось без нареканий

Кроме того вернемся чуть выше: кодировка определялась как DOS и вставлять в документ хотело UTF16.

Ну и теперь к видео. Ваше предположение основаное на LA, что проблема в HDD в корне не верно. У меня SSD и LA часто выше 2. И вообще, читается, что LA нормальное когда Cores * 2 - 0.3 (есть вариант Cores * 2 * 0.7). То есть чем больше ядер, тем LA может быть выше.

Тестировалось на первом со списка в подписи.

P.S. И в работе буфера обмена HDD не учавствует.

[Zenit]

Возможно, предположение об LA было основано на том, что рассказывал один администратор головастый на одном из семинаров, о том, что если повышается average - то это тупняк происходит при попытках читать записывать с диска. В Calc вставлялось и у меня без нареканий, а во врайтер отказалось.
Я очень рад, что у Вас получилось. А не могли бы Вы мне подсказать как мне сделать так, что б и у меня за пару минут работало (можно дольше)? Возможно Вы как-то конфигурировали систему? У меня система "из коробки".

Формирование файла - согласен - очень уж проблемное, но так вышло, что мне предоставили именно такую версию данного файла.

[EvangelionDeath]

рассказывал один администратор головастый на одном из семинаров, о том, что если повышается average - то это тупняк происходит при попытках читать записывать с диска.

Не верьте всему, что говорят.

LA повышается при увеличении очереди на выполнение:
- чтение
- запись
- программе просто надо процессорное время

Просто сказать - проблема в винтах - не правильно. Это одна из возможных причин (к примеру на файловых серверах). На одном из серверов LA достигал 10000. И ниче, работал (нехороший человек сделал deadlock на базу случайно))))

Специально ничего не конфигурировал, есть мелкие правки в TLP (замена laptop-mode-tools, что менялось есть на форуме в теме о SSD) + использую PSD (profile sync daemon), а так все по дефолту.

P.S. Не ужели они csv файлом его дать не могли...

[Zenit]

Не ужели они csv файлом его дать не могли...

Ну там чисто рабочая история. Рассказывать ее длинно(да и не нужно)). Факт в том, что нужно было сделать быструю выборку из базы,настолько быструю, что программисты не стали заморачиватся и просто вывалили это все в таблицу и отдали мне. Хотя подозреваю, что с монго можно сделать выборку и экспортировать в CSV(но об этом никто не подумал), ну как случилось - так случилось - вопрос-то решен давно. А вот с системой разбираюсь) попутно показывая всей компании, что и на Linuxе можно с успехом работать на десктопе...  да да, я чистый энтузиаст)))

[EvangelionDeath]

Zenit, Especcialy for you (BD Postgres)

Код: (sql) [Выделить]

COPY (
    SELECT <>
    FROM   <>
    LEFT JOIN <>
    ...
    WHERE ...
) TO <destination> [WITH CSV | DELIMITER ';'] ;

Если использовать WITH CSV - разделитель запятая, если DELIMITER - разделитель может быть любым

Вот пример для mysql

Код: (sql) [Выделить]

SELECT ...
FROM ...
WHERE ...
INTO OUTFILE <destination>
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '\n';


[Zenit]

Спасибо.
Пользователь добавил сообщение 13 Января 2017, 18:54:11:Кажется я нашел причину всех своих бед.
Я установил linux(корневую систему) на диск размером 8Гб. Сейчас открыл а он мне показывает, что свободно всего 190 мб...
Я по наивности своей думал, что я раздел /home создам на отдельном диске (1,3Тб), а для системы хватит и 8Гб.
Что сажете? Может в этом быть причина? И если да - то поможет ли загрузка с флешки и расширение диска с установленной системой в Gparted еще на 10 Гб?

[EvangelionDeath]

Zenit, ну для начала сделайте

Код: (bash) [Выделить]

sudo apt-get update
sudo apt-get autoremove --purge
Ну и корневой раздел желательно делать минимум 15 ГБ ( 20G  7.0G   12G  38% / )

[Zenit]

Спасибо за совет + 200 Мб.
Так а что скажете по поводу расширения раздела при  загрузке с флешки - Ubuntu потом нормально отреагирует?

[EvangelionDeath]

Должна