dd против rsync для бэкапа системы?

[Scorry]

tahr, вы продолжайте, продолжайте. Мы очень ценим ваш опыт — как только найдётся где-нибудь вакансия системного аналитика, я обязательно вас упомяну и порекомендую.

[tahr]

бэкапить надо не всю ОС, а лишь изменяемые файлы. Для хранимых фалов отдельное хранилище бэкапов должно быть.

Это смотря как установлена и используется система. Например:

Код: [Выделить]

mart@xenial:~$ pwd
/home/mart
mart@xenial:~$ cd ..
mart@xenial:/home$ pwd
/home
mart@xenial:/home$ ls -al
итого 4
drwxr-xr-x 1 root  root   18 янв  4 01:07 .
drwxr-xr-x 1 root  root  206 янв  4 01:04 ..
lrwxrwxrwx 1 mart  mart   30 сен 28 18:07 mart -> /stock/user/ubuntu/xenial/mart
drwxr-xr-x 1 xerus xerus 568 дек 31 00:55 xerus

Код: [Выделить]

mart@xenial:/home$ du --si --max-depth=0  /home/mart
4,1k /home/martПояснения нужны?
Пользователь добавил сообщение 05 Января 2017, 00:32:24:

вы продолжайте, продолжайте. Мы очень ценим ваш опыт — как только

Ни один из опытных и умных не упомянул очевидного факта, что портятся наиболее часто перезаписываемые сектора. Отчего не упомянули? Ведь умолчание об этом является хоть маленькой, но ложью; и именно на основании этой лжи меня здесь пытались пристыдить.

Стыдно должно быть тем, кто врет.

[ALiEN]

tahr, cлинковали - хорошо. А если хард просто на пол упадет?

Сектора могут портиться сколько угодно - с этим вполне справляется контроллер жесткого диска.

[tahr]

А если хард просто на пол упадет?

Кто-то здесь спорил или возражал против того, что "человек оттого раздвоен снизу, а не сверху, что две опоры надежнее одной" на другой носитель копировать надежнее? А еще надежнее на два или три. Может быть я возражал? Так вроде нет:

два или три диска купить и продублировать на них ценные данные. Надежнее? Никто и не спорит.

Сектора могут портиться сколько угодно - с этим вполне справляется контроллер жесткого диска.

Может и справляется. Только вот когда у меня ОС перестала загружаться это "справление" ничем не помогло. Вероятно зависит от того, что именно, какая именно информация там потерялась. И вот тут то мне и пригодился бэкап именно всей ОС. Восстановилось всё. Со всеми моими программами. А когда пользователя линканул (подключил), так и со всеми файлами и настройками.  Хотя кто-то здесь утверждал, что бекап ОС не нужен. Так что кому как.
Пользователя, ясно дело, отдельно бекапить надо.

Вот пример того, как потихоньку сыпется диск: https://forum.ubuntu.ru/index.php?topic=285495.0;all
Чем может помочь контроллер? Кто знает, пусть пойдет в тему и поможет ТС.

[Дмитрий Бо]

доказать руководству обоснованность покупки именно двойного, либо тройного количества коплектующих. Не на словах доказать, а именно экономически обосновать.

Риски просто оцениваются: умножаешь вероятность на потери, всего и делов.
Потери пусть руководитель оценивает, а технарь вероятность отказа. То и другое обычно оценивается методом 3-П, но почти всегда результат получается выше стоимости второго сервера, не то что диска.
Бэкап на том же диске надёжности практически не добавляет, только место занимает. Но ради интереса и получения опыта - почему бы и нет.

[tahr]

Бэкап на том же диске надёжности практически не добавляет, только место занимает.

Мой случай, полный архив ОС, сделанный с помощью FSArchiver:

mart@xenial:~$ cd /stock/data/Archiv
mart@xenial:/stock/data/Archiv$ ls
lynx-26-9-2016.fsa
mart@xenial:/stock/data/Archiv$ du --si --max-depth=100  /stock/data/Archiv
2,2G   /stock/data/Archiv

Видно сколько я места занял на 500 гиговом диске.

Потери пусть руководитель оценивает, а технарь вероятность отказа.

Поскольку я не технарь, то не знаю как оценить вероятность отказа. ? Смогут технари по вот такой информации хотя бы грубую прикидку сделать:

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

mart@xenial:~$ sudo smartctl -a /dev/sda
smartctl 6.5 2016-01-24 r4214 [x86_64-linux-4.4.0-57-generic] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Western Digital Scorpio Blue Serial ATA (AF)
Device Model:     WDC WD5000BPVT-08HXZT3
Serial Number:    WD-WXE1A72E1275
LU WWN Device Id: 5 0014ee 6581086ad
Firmware Version: 03.01A03
User Capacity:    500 107 862 016 bytes [500 GB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    5400 rpm
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ATA8-ACS (minor revision not indicated)
SATA Version is:  SATA 2.6, 1.5 Gb/s (current: 1.5 Gb/s)
Local Time is:    Thu Jan  5 16:46:39 2017 MSK
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x00) Offline data collection activity
was never started.
Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0) The previous self-test routine completed
without error or no self-test has ever
been run.
Total time to complete Offline
data collection: (11580) seconds.
Offline data collection
capabilities: (0x7b) SMART execute Offline immediate.
Auto Offline data collection on/off support.
Suspend Offline collection upon new
command.
Offline surface scan supported.
Self-test supported.
Conveyance Self-test supported.
Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
power-saving mode.
Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
General Purpose Logging supported.
Short self-test routine
recommended polling time: (   2) minutes.
Extended self-test routine
recommended polling time: ( 115) minutes.
Conveyance self-test routine
recommended polling time: (   5) minutes.
SCT capabilities:        (0x7035) SCT Status supported.
SCT Feature Control supported.
SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0027   178   174   021    Pre-fail  Always       -       2066
  4 Start_Stop_Count        0x0032   087   087   000    Old_age   Always       -       13005
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002f   200   200   051    Pre-fail  Always       -       0
  9 Power_On_Hours          0x0032   096   096   000    Old_age   Always       -       2962
 10 Spin_Retry_Count        0x0032   100   100   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   100   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   098   098   000    Old_age   Always       -       2223
192 Power-Off_Retract_Count 0x0032   199   199   000    Old_age   Always       -       1472
193 Load_Cycle_Count        0x0032   168   168   000    Old_age   Always       -       98494
194 Temperature_Celsius     0x0022   107   095   000    Old_age   Always       -       40
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   100   253   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       1
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       0
240 Head_Flying_Hours       0x0032   097   097   000    Old_age   Always       -       2413

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed without error       00%      2962         -
# 2  Short offline       Completed without error       00%      1240         -
# 3  Short offline       Completed without error       00%      1066         -
# 4  Vendor (0x50)       Completed without error       00%         1         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

Кстати и второй диск, который сыпаться начал, я не выбрасываю:

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

mart@xenial:~$ sudo smartctl -a /dev/sdb
[sudo] пароль для mart:
smartctl 6.5 2016-01-24 r4214 [x86_64-linux-4.4.0-57-generic] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Western Digital Black
Device Model:     WDC WD5000BPKT-75PK4T0
Serial Number:    WD-WX61A91K6358
LU WWN Device Id: 5 0014ee 6acedf6a4
Firmware Version: 01.01A01
User Capacity:    500 107 862 016 bytes [500 GB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    7200 rpm
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ATA8-ACS (minor revision not indicated)
SATA Version is:  SATA 2.6, 3.0 Gb/s
Local Time is:    Thu Jan  5 17:09:22 2017 MSK
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x82) Offline data collection activity
was completed without error.
Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0) The previous self-test routine completed
without error or no self-test has ever
been run.
Total time to complete Offline
data collection: ( 8460) seconds.
Offline data collection
capabilities: (0x7b) SMART execute Offline immediate.
Auto Offline data collection on/off support.
Suspend Offline collection upon new
command.
Offline surface scan supported.
Self-test supported.
Conveyance Self-test supported.
Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
power-saving mode.
Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
General Purpose Logging supported.
Short self-test routine
recommended polling time: (   2) minutes.
Extended self-test routine
recommended polling time: (  86) minutes.
Conveyance self-test routine
recommended polling time: (   5) minutes.
SCT capabilities:        (0x7035) SCT Status supported.
SCT Feature Control supported.
SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       5662
  3 Spin_Up_Time            0x0027   194   175   021    Pre-fail  Always       -       1300
  4 Start_Stop_Count        0x0032   097   097   000    Old_age   Always       -       3638
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   200   200   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   074   074   000    Old_age   Always       -       19499
 10 Spin_Retry_Count        0x0032   100   100   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   100   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   097   097   000    Old_age   Always       -       3622
191 G-Sense_Error_Rate      0x0032   001   001   000    Old_age   Always       -       53815
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       740
193 Load_Cycle_Count        0x0032   193   193   000    Old_age   Always       -       22126
194 Temperature_Celsius     0x0022   111   095   000    Old_age   Always       -       36
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   199   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   200   199   000    Old_age   Offline      -       28
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       1
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       30
240 Head_Flying_Hours       0x0032   074   074   000    Old_age   Always       -       19171
241 Total_LBAs_Written      0x0032   200   200   000    Old_age   Always       -       34111305751
242 Total_LBAs_Read         0x0032   200   200   000    Old_age   Always       -       28876317728
254 Free_Fall_Sensor        0x0032   200   200   000    Old_age   Always       -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed: read failure       90%     19466         128066700
# 2  Conveyance offline  Completed: read failure       90%     19466         128066700
# 3  Extended offline    Completed: read failure       90%     19466         128066700
# 4  Short offline       Completed: read failure       70%     19466         128066700
# 5  Short offline       Completed without error       00%     18824         -
# 6  Short offline       Completed without error       00%     18822         -
# 7  Short offline       Completed: read failure       90%     18792         182526084
# 8  Short offline       Completed: read failure       90%     18792         182526080
# 9  Short offline       Completed: read failure       90%     18504         165775852
#10  Short offline       Completed: read failure       90%     18238         165775852
#11  Conveyance offline  Completed: read failure       90%     18225         41928380
#12  Short offline       Completed: read failure       90%     18225         41928380
#13  Extended offline    Completed: read failure       90%     18225         41928376
#14  Short offline       Completed without error       00%      7350         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

Пользователь добавил сообщение 05 Января 2017, 17:27:24:

бэкапить надо не всю ОС, а лишь изменяемые файлы.

Сообщите это автору темы: https://forum.ubuntu.ru/index.php?topic=285665.0

И попробуйте сопоставить со своими же словами:

Не стоит чесать все под одну гребёнку.

[snowin]

Кстати и второй диск, который сыпаться начал, я не выбрасываю:

бэдов нет, значит не сыпется
но наблюдать за ним надо
smartmontools тебе поможет в этом

[tahr]

бэдов нет, значит не сыпется

Бэды были, диск сыпался. Когда забрал с него всё, что мне надо, в том числе бекап ОС, то сделал:

Код: [Выделить]

sudo dd if=/dev/zero of=/dev/sdX
Делается это без монтирования диска. После этого создал таблицу разделов и отформатировал, понасоздавал разделов.

[snowin]

Бэды были, диск сыпался

как определил?

[tahr]

как определил?

Сначала увидел при попытке загрузки ОС примерно такую же картину, как на скриншоте в той теме, на которую уже давал ссылку: https://forum.ubuntu.ru/index.php?topic=285495.0;all
Мне прямо на экране так писало, что я понял - диск начал сыпаться. Потом запустил с другого носителя дисковую утилиту, в 16.04 называется "Диски". Там запустил диагностику. Диагностика показала наличие битых секторов. Прямо красным цветом выделено было.

Когда забрал нужные данные, то сделал лечение по рецепту, который привел выше. Что получилось - это ты уже увидел, нет бэдов.

[snowin]

tahr, понятненько
смарт дело спецефическое, не для этой темы
могу лишь посоветовать обратиться на спец форумы по-поводу значений смарт.

[shark_255]

Мне вот интересно, почему Clonezilla поддерживает только аппаратный RAID ?
По сути, когда я запускаюсь с Live CD Clonezill'ы- то у меня есть два раздела sda и sdb.
И я могу один из них спокойно клонировать, если у меня они образуют RAID 1,
когда запускается Ubuntu.


З.Ы. И она таки не взлетела, написала что No input device sda

[ReNzRv]

Does Clonezilla support RAID ?
Clonezilla does support hardware RAID, if your RAID device is seen as /dev/sda, /dev/sdb, /dev/hda, /dev/hdb, /dev/cciss/c0d0... on GNU/Linux. Clonezilla does support this.
On the other hand, if it's Linux software RAID, no, Clonezilla does not support that.

http://drbl.sourceforge.net/faq/fine-print.php?path=./2_System/65_Clonezilla_support_RAID.faq#MY_INDEX
https://sourceforge.net/p/clonezilla/discussion/Clonezilla_live/thread/1cb258d2/

[shark_255]

Does Clonezilla support RAID ?
Clonezilla does support hardware RAID, if your RAID device is seen as /dev/sda, /dev/sdb, /dev/hda, /dev/hdb, /dev/cciss/c0d0... on GNU/Linux. Clonezilla does support this.
On the other hand, if it's Linux software RAID, no, Clonezilla does not support that.

http://drbl.sourceforge.net/faq/fine-print.php?path=./2_System/65_Clonezilla_support_RAID.faq#MY_INDEX
https://sourceforge.net/p/clonezilla/discussion/Clonezilla_live/thread/1cb258d2/

Спасибо за быстрый ответ, но один фиг не работает, хоть с nodmraid , хоть с dmraid=false

[Morisson]

shark_255, ответ по теме. rsync должен быть быстрее dd.
А графические программы никак не быстрее консольных утилит. Особенно, если все правильно настроено.
https://help.ubuntu.ru/wiki/backup