Работа с ZFS

[Measurer]

Пытаюсь освоить работу с ZFS на Ubuntu Server на домашнем сервере.

Сначала сделал ZFS pool со сжатием для бэкапов. Затем, сделал на отдельном диске ZFS пул под хранение софта и дистрибутивов, которые используются дома.
Уже несколько раз сталкивался с тем, что после перезагрузки пул с бэкапами переставал видеться (пул с софтом монтировался и виделся до этого всегда).
Пару раз приходилось пересоздавать пул и начинать собирать бэкапы снова.
Сначала грешил, что память на материнке без чётности и сбоит. Но вчера столкнулся с ситуацией, описанной в посте:
https://forum.ubuntu.ru/index.php?topic=321994.0

Понял, что проблема не в сбоящей памяти.
Сейчас перезагрузил домашний сервер и перестал видеться ZFS пул с софтом. Пул с бэкапами при этом видится и монтируется нормально.

zdb показывает:

Код: [Выделить]

# zdb -l /dev/sdc
failed to unpack label 0
failed to unpack label 1
failed to unpack label 2
failed to unpack label 3

Явно, проблема в размонтировании ZFS пулов при завершении работы. Перечитал кучу статей по ZFS. Нигде не говорится, что нужно предпринимать какие-то меры по размонтированию ZFS при завершении работы.
Кто-то может ткнуть, во то, что почитать?

[ALiEN]

Понял, что проблема не в сбоящей памяти.

А с самими дисками всё в порядке?

Код: [Выделить]

sudo apt install smartmontools
sudo smartctl -a /dev/sdX

[AnrDaemon]

А зачем ZFS?

[Measurer]

Понял, что проблема не в сбоящей памяти.

А с самими дисками всё в порядке?

Код: [Выделить]

sudo apt install smartmontools
sudo smartctl -a /dev/sdX

С диском, который под бэкапы, думаю, всё в порядке.
Во-первых, "восстановился" тот пул, про который я писал в теме
https://forum.ubuntu.ru/index.php?topic=321994.0
Во-вторых, у меня на хостинге стоит ещё один сервер, куда клонируются домашние бэкапы. Там - точно такой же диск и тоже с ZFS. За многие годы в сервере на хостинге, диск не терялся во время перезагрузок ни разу.
Я менял диски местами (между серверами). Эффект "потерявшегося ZFS пула" на домашнем сервере сохранился.

Но на сервере на хостинге и софта стоит минимум. Домашняя железка выполняет очень много функций. Но раздел с ZFS могут использовать только samba, NFS сервер, SyncThin и бэкапные скрипты.

В-третьих, диск под бэкапы, пока сервер не перезегружается может работать месяцами и не "теряться". Иногда сервер не перезагружается месяцами.

SMART диска с бэкапами

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

smartctl 7.2 2020-12-30 r5155 [x86_64-linux-5.15.0-118-generic] (local build)
Copyright (C) 2002-20, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     HGST Ultrastar HC310/320
Device Model:     HGST HUS726T4TALE6L4
Serial Number:    V1GVNZ2H
LU WWN Device Id: 5 000cca 0bccc205e
Firmware Version: VKGNW984
User Capacity:    4 000 787 030 016 bytes [4,00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    7200 rpm
Form Factor:      3.5 inches
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ACS-2, ATA8-ACS T13/1699-D revision 4
SATA Version is:  SATA 3.2, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Tue Aug 20 20:52:47 2024 +05
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x82) Offline data collection activity
                                        was completed without error.
                                        Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever
                                        been run.
Total time to complete Offline
data collection:                (   87) seconds.
Offline data collection
capabilities:                    (0x5b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        No Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        ( 475) minutes.
SCT capabilities:              (0x003d) SCT Status supported.
                                        SCT Error Recovery Control supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   100   100   016    Pre-fail  Always       -       0
  2 Throughput_Performance  0x0005   130   130   054    Pre-fail  Offline      -       100
  3 Spin_Up_Time            0x0007   140   140   024    Pre-fail  Always       -       306 (Average 299)
  4 Start_Stop_Count        0x0012   100   100   000    Old_age   Always       -       214
  5 Reallocated_Sector_Ct   0x0033   100   100   005    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000b   100   100   067    Pre-fail  Always       -       0
  8 Seek_Time_Performance   0x0005   128   128   020    Pre-fail  Offline      -       18
  9 Power_On_Hours          0x0012   099   099   000    Old_age   Always       -       11773
 10 Spin_Retry_Count        0x0013   100   100   060    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       141
192 Power-Off_Retract_Count 0x0032   070   070   000    Old_age   Always       -       36848
193 Load_Cycle_Count        0x0012   070   070   000    Old_age   Always       -       36848
194 Temperature_Celsius     0x0002   142   142   000    Old_age   Always       -       42 (Min/Max 16/51)
196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0022   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0008   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x000a   200   200   000    Old_age   Always       -       1

SMART Error Log Version: 1
ATA Error Count: 1
        CR = Command Register [HEX]
        FR = Features Register [HEX]
        SC = Sector Count Register [HEX]
        SN = Sector Number Register [HEX]
        CL = Cylinder Low Register [HEX]
        CH = Cylinder High Register [HEX]
        DH = Device/Head Register [HEX]
        DC = Device Command Register [HEX]
        ER = Error register [HEX]
        ST = Status register [HEX]
Powered_Up_Time is measured from power on, and printed as
DDd+hh:mm:SS.sss where DD=days, hh=hours, mm=minutes,
SS=sec, and sss=millisec. It "wraps" after 49.710 days.

Error 1 occurred at disk power-on lifetime: 3370 hours (140 days + 10 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  84 43 00 00 00 00 00  Error: ICRC, ABRT at LBA = 0x00000000 = 0

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  60 80 88 60 06 ae 40 08      00:22:33.776  READ FPDMA QUEUED
  60 80 80 e0 04 ae 40 08      00:22:33.775  READ FPDMA QUEUED
  60 80 78 60 03 ae 40 08      00:22:33.773  READ FPDMA QUEUED
  60 80 70 e0 01 ae 40 08      00:22:33.773  READ FPDMA QUEUED
  60 80 68 60 00 ae 40 08      00:22:33.772  READ FPDMA QUEUED

SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

SMART диска с софтом.
Кстати, он меня напряг немного, но выкладываю.

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

smartctl 7.2 2020-12-30 r5155 [x86_64-linux-5.15.0-118-generic] (local build)
Copyright (C) 2002-20, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     WD Blue / Red / Green SSDs
Device Model:     WDC  WDS100T1R0A-68A4W0
Serial Number:    23022W445112
LU WWN Device Id: 5 001b44 4a5845b45
Firmware Version: 411010WR
User Capacity:    1 000 204 886 016 bytes [1,00 TB]
Sector Size:      512 bytes logical/physical
Rotation Rate:    Solid State Device
Form Factor:      2.5 inches
TRIM Command:     Available, deterministic, zeroed
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ACS-4 T13/BSR INCITS 529 revision 5
SATA Version is:  SATA 3.3, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Tue Aug 20 20:55:08 2024 +05
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x00) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever
                                        been run.
Total time to complete Offline
data collection:                (    0) seconds.
Offline data collection
capabilities:                    (0x11) SMART execute Offline immediate.
                                        No Auto Offline data collection support.
                                        Suspend Offline collection upon new
                                        command.
                                        No Offline surface scan supported.
                                        Self-test supported.
                                        No Conveyance Self-test supported.
                                        No Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        (  10) minutes.

SMART Attributes Data Structure revision number: 4
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  5 Reallocated_Sector_Ct   0x0032   100   100   ---    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   100   100   ---    Old_age   Always       -       7096
 12 Power_Cycle_Count       0x0032   100   100   ---    Old_age   Always       -       24
165 Block_Erase_Count       0x0032   100   100   ---    Old_age   Always       -       2687001
166 Minimum_PE_Cycles_TLC   0x0032   100   100   ---    Old_age   Always       -       0
167 Max_Bad_Blocks_per_Die  0x0032   100   100   ---    Old_age   Always       -       148
168 Maximum_PE_Cycles_TLC   0x0032   100   100   ---    Old_age   Always       -       1
169 Total_Bad_Blocks        0x0032   100   100   ---    Old_age   Always       -       851
170 Grown_Bad_Blocks        0x0032   100   100   ---    Old_age   Always       -       0
171 Program_Fail_Count      0x0032   100   100   ---    Old_age   Always       -       0
172 Erase_Fail_Count        0x0032   100   100   ---    Old_age   Always       -       0
173 Average_PE_Cycles_TLC   0x0032   100   100   ---    Old_age   Always       -       0
174 Unexpected_Power_Loss   0x0032   100   100   ---    Old_age   Always       -       2
184 End-to-End_Error        0x0032   100   100   ---    Old_age   Always       -       0
187 Reported_Uncorrect      0x0032   100   100   ---    Old_age   Always       -       0
188 Command_Timeout         0x0032   100   100   ---    Old_age   Always       -       0
194 Temperature_Celsius     0x0022   067   047   ---    Old_age   Always       -       33 (Min/Max 22/47)
199 UDMA_CRC_Error_Count    0x0032   100   100   ---    Old_age   Always       -       0
230 Media_Wearout_Indicator 0x0032   001   001   ---    Old_age   Always       -       0x000300000003
232 Available_Reservd_Space 0x0033   100   100   004    Pre-fail  Always       -       100
233 NAND_GB_Written_TLC     0x0032   100   100   ---    Old_age   Always       -       385
234 NAND_GB_Written_SLC     0x0032   100   100   ---    Old_age   Always       -       399
241 Host_Writes_GiB         0x0030   253   253   ---    Old_age   Offline      -       394
242 Host_Reads_GiB          0x0030   253   253   ---    Old_age   Offline      -       2850
244 Temp_Throttle_Status    0x0032   000   100   ---    Old_age   Always       -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]

Selective Self-tests/Logging not supported

Данный диск не очень важен, т.к. он дублирует диск, на котором реально софт хранится.
Просто, от одного проекта мне достался SSD WD Red на 1 Тб. Во-первых, хотел проверить надёжность SSD. Во-вторых, как работает ZFS со сжатием.
Пользователь добавил сообщение 20 Августа 2024, 19:15:35:

А зачем ZFS?

Хоть данный вопрос и не относится к теме, но отвечу: на диск копируются бэкапы виртуалок с ESXi. Копируются при помощи GhettoVCB. Без сжатия образы занимают в два раза больше места.
На диске, где был софт, за счёт компрессии ZFS экономия была порядка 20% места.

[AnrDaemon]

BTRFS?

[Measurer]

Как всегда... Получаешь кучу ответов, но не на тот вопрос, который задал.

[ALiEN]

Получаешь кучу ответов, но не на тот вопрос, который задал.

Во-первых, это форум сообщества, а не профессиональная техподдержка.
Во-вторых, ZFS не предлагается в качестве основной файловой системы в дистрибутивах Ubuntu.

[Measurer]

Я всё понимаю... Но вопрос был: как люди работают с томами ZFS?
Нужно ли как-то их специально отмонтировать/монтировать? Или, все работают просто штатными средствами: создал, задал точку монтирования и всё, проблем не наблюдается?

Возможно, кто-то поделится опытом коммерческой/промышленной эксплуатацией томов на ZFS?

Вопрос был ТОЛЬКО в этом.
Пользователь добавил сообщение 24 Августа 2024, 18:59:00:Кстати, нашёл одну очень интересную тему

https://superuser.com/questions/1248622/zfs-pool-disappears-after-reboot-on-debian-8

[ALiEN]

Код: [Выделить]

journalctl --grep zfs

[F12]

ZFS не предлагается в качестве основной файловой системы в дистрибутивах Ubuntu.

- более того, ZFS не включена в ядро Linux из коробки

[AnrDaemon]

Measurer, очевидный ответ - не работают.

[Measurer]

Код: [Выделить]

journalctl --grep zfs

Как только снова случится - покажу. Пока - тьфу-тьфу... работает.

[snowin]

Возможно, кто-то поделится опытом коммерческой/промышленной эксплуатацией томов на ZFS?

Никто не поделиться, но инфы на тему zfs в инете полно. Могу рассказать о своем опыте в домашних условиях. ZFS может работать долго и стабильно на линуксе. При одном условии: диски должны быть нормальными. Без единого беда и других ошибок. Температура не должна превышать 45 градусов, лучше 35. В приведенном твоих смартов нет нормальных дисков - отвал будет постоянный

[Measurer]

Возможно, кто-то поделится опытом коммерческой/промышленной эксплуатацией томов на ZFS?

Никто не поделиться, но инфы на тему zfs в инете полно. Могу рассказать о своем опыте в домашних условиях. ZFS может работать долго и стабильно на линуксе. При одном условии: диски должны быть нормальными. Без единого беда и других ошибок. Температура не должна превышать 45 градусов, лучше 35. В приведенном твоих смартов нет нормальных дисков - отвал будет постоянный

Что "ненормального" в смарте данного диска?
Постоянных отвалов не наблюдаю. Сейчас всё работает нормально... тьфу-тьфу...

[snowin]

Постоянных отвалов не наблюдаю.

Уже несколько раз сталкивался с тем, что после перезагрузки пул с бэкапами переставал видеться (

последнее как раз вытекает из

Error 1 occurred at disk power-on lifetime: 3370 hours (140 days + 10 hours) When the command that caused the error occurred, the device was active or idle. After command completion occurred, registers were: ER ST SC SN CL CH DH -- -- -- -- -- -- -- 84 43 00 00 00 00 00  Error: ICRC, ABRT at LBA = 0x00000000 = 0

со вторым диском все еще хуже
сплошные бэды, лимит резервных секторов почти исчерпан

и последнее: обратись на специализированный форум по дискам, где тебе растолкуют значение смартов, ибо форум по убунте про Ubuntu, а не про zfs и диски