Кеширование файлов и swap

[Alex-7]

Есть программа работающая с большими объёмами данных. Процессор загружается незначительно, сетевой трафик - килобайты в секунду. По звуку - молотит диск и работает неприлично долго.

Пробовал отключить swap - вроде начинает работать быстрее, но памяти нехватает и всё глохнет.

1) Как проверить работу кеша файлов и попробовать изменить объём?
2) Может ли получится глупость типа swap кешируется, а кеш свопится :-)

Как настроить: кеш не свопить, своп не кешить?

Swap файловый (не раздел диска).
Ubuntu 18.

Спасибо!

У Гугла спросил - ничего про кеш на десктопе не показал, всё только про кэширование на веб-серверах.
ТС не появлялся на Форуме более трех месяцев по состоянию на 17/06/2020 (последняя явка: 12/02/2020). Модератором раздела принято решение закрыть тему.
--zg_nico

[БТР]

Alex-7, не указали конфигурацию оборудования и ПО, трудно давать объективные заключения.
из общего - ZSWAP + SSD со свопом на нём же.

[ALiEN]

По звуку - молотит диск и работает неприлично долго.

Код: [Выделить]

sudo hdparm -Tt /dev/sda
sudo smartctl -a /dev/sda
Показывайте

[Alex-7]

ALiEN175, спасибо! А где можно прочитать про настройку дискового кэша в Ubuntu?

Код: [Выделить]

/dev/sda:
 Timing cached reads:   2580 MB in  1.99 seconds = 1293.54 MB/sec
 Timing buffered disk reads: 168 MB in  3.01 seconds =  55.78 MB/sec
smartctl 6.6 2016-05-31 r4324 [x86_64-linux-5.3.0-26-generic] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Toshiba 2.5" HDD MQ01ABF...
Device Model:     TOSHIBA MQ01ABF050
Serial Number:    1787C5GET
LU WWN Device Id: 5 000039 78360256a
Firmware Version: AM001J
User Capacity:    500 107 862 016 bytes [500 GB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    5400 rpm
Form Factor:      2.5 inches
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ATA8-ACS (minor revision not indicated)
SATA Version is:  SATA 3.0, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Tue Jan 28 16:50:19 2020 MSK
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x00) Offline data collection activity
was never started.
Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0) The previous self-test routine completed
without error or no self-test has ever
been run.
Total time to complete Offline
data collection: (  120) seconds.
Offline data collection
capabilities: (0x5b) SMART execute Offline immediate.
Auto Offline data collection on/off support.
Suspend Offline collection upon new
command.
Offline surface scan supported.
Self-test supported.
No Conveyance Self-test supported.
Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
power-saving mode.
Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
General Purpose Logging supported.
Short self-test routine
recommended polling time: (   2) minutes.
Extended self-test routine
recommended polling time: ( 120) minutes.
SCT capabilities:        (0x003d) SCT Status supported.
SCT Error Recovery Control supported.
SCT Feature Control supported.
SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   100   100   050    Pre-fail  Always       -       0
  2 Throughput_Performance  0x0005   100   100   050    Pre-fail  Offline      -       0
  3 Spin_Up_Time            0x0027   100   100   001    Pre-fail  Always       -       1281
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       2063
  5 Reallocated_Sector_Ct   0x0033   100   100   050    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000b   100   100   050    Pre-fail  Always       -       0
  8 Seek_Time_Performance   0x0005   100   100   050    Pre-fail  Offline      -       0
  9 Power_On_Hours          0x0032   099   099   000    Old_age   Always       -       657
 10 Spin_Retry_Count        0x0033   140   100   030    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       281
191 G-Sense_Error_Rate      0x0032   100   100   000    Old_age   Always       -       23
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       12
193 Load_Cycle_Count        0x0032   100   100   000    Old_age   Always       -       3815
194 Temperature_Celsius     0x0022   100   100   000    Old_age   Always       -       39 (Min/Max 19/47)
196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
220 Disk_Shift              0x0002   100   100   000    Old_age   Always       -       0
222 Loaded_Hours            0x0032   099   099   000    Old_age   Always       -       536
223 Load_Retry_Count        0x0032   100   100   000    Old_age   Always       -       0
224 Load_Friction           0x0022   100   100   000    Old_age   Always       -       0
226 Load-in_Time            0x0026   100   100   000    Old_age   Always       -       180
240 Head_Flying_Hours       0x0001   100   100   001    Pre-fail  Offline      -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.


[ALiEN]

Вам сам диск получше нужен
Почти такой же

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

smartctl 7.1 2019-12-30 r5022 [x86_64-linux-5.4.15-zen1-1-zen] (local build)
Copyright (C) 2002-19, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Device Model:     WDC WD2500LPCX-24C6HT0
Serial Number:    WD-WX81A54DXFFE
LU WWN Device Id: 5 0014ee 604b3196b
Firmware Version: 02.01A02
User Capacity:    250 058 268 160 bytes [250 GB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    5400 rpm
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   ACS-2 (minor revision not indicated)
SATA Version is:  SATA 3.0, 6.0 Gb/s (current: 3.0 Gb/s)
Local Time is:    Tue Jan 28 17:46:02 2020 MSK
SMART support is: Available - device has SMART capability.
SMART support is: Enabled


Ну и скорость, собственно

Код: [Выделить]

/dev/sda:
 Timing cached reads:   1332 MB in  2.00 seconds = 665.92 MB/sec
 Timing buffered disk reads: 350 MB in  3.01 seconds = 116.32 MB/secСравните:

/dev/sda:
 Timing cached reads:   2580 MB in  1.99 seconds = 1293.54 MB/sec
 Timing buffered disk reads: 168 MB in  3.01 seconds =  55.78 MB/sec

А где можно прочитать про настройку дискового кэша в Ubuntu?

http://www.linuxatemyram.ru

Пробовал отключить swap - вроде начинает работать быстрее, но памяти нехватает и всё глохнет.

Просто добавь воды© оперативку.

[jurganov]

Пробовал отключить swap - вроде начинает работать быстрее, но памяти нехватает и всё глохнет.

если тебе не хватает оперативки, своп тебе не поможет. работа ОЗУ с хардом начнет жутво тормозить работу машины.
При этом хард начинает издавать жуткой вой, свопИть - на русскрм жаргоне, так как своп будет дергать его ежесекундно.
иного решения кроме добавления оперативы - нету

[Alex-7]

Всем Спасибо!

Гемор вылечил.

Опыт: Ubuntu 18 + Gnome на 2GB включая интегрированную видеосистему - МАЗОХИЗМ!

Заменил планку на 8GB - стал работать существенно легче.
Своп не включал, монитор показывает занятость памяти 2,5-3 GiB.
Видимо как раз 1GiB-а и не хватало.

Но клава всё равно лагает - переключение раскладки иногда задерживается на полсекунды.

[andytux]

клава всё равно лагает - переключение раскладки иногда задерживается на полсекунды.

Как в сказке. На счет три, красавец гном превратился в урода.

[jurganov]

Но клава всё равно лагает - переключение раскладки иногда задерживается на полсекунды.

это может быть не связано с памятью и свопом

[Pilot6]

Но клава всё равно лагает - переключение раскладки иногда задерживается на полсекунды.

Это у всех лагает.

[Alex-7]

это может быть не связано с памятью и свопом

Да это не может быть связано совсем никак. Но когда были проблемы с памятью, это усугублялось до нескольких секунд.