Резервное копирование на FLASH-накопитель

[Viveda]

Так... видимо, я чего-то недопонимал/недопонимаю
Уточню одно из требований. Я хотел, чтобы скрипт был полностью автономен, т. е., чтобы не приходилось что-либо настраивать еще. Как я вижу, это не выполнимо?

Т.е. чтобы на любой системе запуская скрипт автоматом (без пароля рута) монтировалась флешка? Нет, так нельзя.

Т. е., возможные варианты.
1. Настраиваем sudo, чтобы для команды mount (или для нашего скрипта, в котором используется эта команда) не запрашивался пароль. Соответственно, "sudo mount" в скрипте работает без запроса пароля.
2. Вписываем строку в fstab с опцией auto и в скрипте ничего не монтируем - раздел будет примонтирован автоматически.
3. Вписываем строку в fstab с опциями noauto, user. Раздел автоматически не монтируется, монтируем в скрипте без sudo под любым пользователем.

Так?
Я пока не совсем понимаю, какое преимущество, кроме возможности автоматического монтирования, дает внесение строк в fstab?
Что-то я не пойму, какой вариант оптимальнее будет?
Первый, вроде, с точки зрения безопасности не очень... Третий... нет смысла монтировать/размонтировать в скрипте...
Второй?

Ну так выше я предлагал еще 4-й вариант:

Кстати, лучше в sudoers добавить свой скрипт, вместо mount/umount.

Код: [Выделить]

ALL ALL=(ALL) NOPASSWD:/usr/local/mybackupscript.sh


[koluna]

Т.е. чтобы на любой системе запуская скрипт автоматом (без пароля рута) монтировалась флешка? Нет, так нельзя.

Да, хотел именно так. Теперь понял, что нельзя, спасибо.

Ну так выше я предлагал еще 4-й вариант:

Это я отнес к первому варианту (в скобках указано)

А по поводу fstab что можете сказать (вопросы выше)?

[Viveda]

Ну скрипт с точки зрения безопасности понадежнее будет, чем давать права на mount/umount без пароля.

А по поводу fstab - я не совсем пойму поставленную задачу. Скрипт будет проверять доступность флешки и что-то делать/предупреждать?

[koluna]

Ну скрипт с точки зрения безопасности понадежнее будет, чем давать права на mount/umount без пароля.

Согласен, но если весь скрипт выполнять под sudo, то по ошибке можно систему убить, как я понимаю?

А по поводу fstab - я не совсем пойму поставленную задачу. Скрипт будет проверять доступность флешки и что-то делать/предупреждать?

Я просто не совсем понял, какие преимущества вообще дает нам fstab.
Я вижу пока только:
1. Возможность автоматического монтирования.
2. Указание множества опций в файле и последующее облегчение монтирования командой mount без указания этого множества опций.

Вообще, скрипт перед записью на накопитель, конечно, должен проверить, смонтирован ли накопитель или нет.

У меня сейчас другая проблема. При подключенной FLASH GRUB путается в разделах и не запускает систему...

[piyavking]

в /etc/sudoers прописать, чтоб пароль не спрашивал. вот мой (я себе запрос пароля вообще отключил):

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

#
# This file MUST be edited with the 'visudo' command as root.
#
# Please consider adding local content in /etc/sudoers.d/ instead of
# directly modifying this file.
#
# See the man page for details on how to write a sudoers file.
#
Defaults   env_reset
Defaults   mail_badpass
Defaults   secure_path="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"

# Host alias specification

# User alias specification

# Cmnd alias specification

# User privilege specification
root   ALL=(ALL:ALL) ALL

# Members of the admin group may gain root privileges
%admin ALL=(ALL) ALL

# Allow members of group sudo to execute any command
%sudo   ALL=(ALL:ALL)NOPASSWD: ALL

# See sudoers(5) for more information on "#include" directives:

#includedir /etc/sudoers.d

его, ЕМНИП, можно настроить так, чтоб он именно на конкретную команду пароль не запрашивал, в твоём случае - на mount.

Главное - редактировать предельно аккуратно, и забэкапив старый файл, потому, что ошибка в /etc/sudoers тут же наглухо перекрывает возможность сделать что-то от root'а, и единственный выход тогда - грузиться с флешки, и восстановить бэкап этого файла.

[koluna]

в /etc/sudoers прописать, чтоб пароль не спрашивал. вот мой (я себе запрос пароля вообще отключил):

Я знаю, что можно прописать, но, как писал выше, не хотелось бы трогать системные файлы (особенно конфиг sudo).
Попробую через fstab.

[piyavking]

не хотелось бы трогать системные файлы (особенно конфиг sudo).
Попробую через fstab.

fstab как бы тоже ведь системный файл

впрочем, вольному - воля)

[koluna]

не хотелось бы трогать системные файлы (особенно конфиг sudo).
Попробую через fstab.

fstab как бы тоже ведь системный файл

Я знаю, но на мой взгляд сейчас, использование его - более правильный вариант, раз уже без редактирования системных файлов не обойтись... попробовал, получается. Позже выложу на ревью, что написал:)

У меня сейчас другие проблемы...
1. Вставленная FLASH при загрузке сбивает GRUB. Что-то с нумерацией дисков и ОС не загружается.
2. Странно, но во время работы над скриптом резервного копирования я получил подтверждение, что не зря этим занимаюсь, т. к. на днях выплыло "400-ahci port0 device error". Проверил smartctl - винт умирает. Данные забекапил, купил новый винт, систему поднимаю...

[Freezeman]

есть параметры nouser, group и owner под ключём -o

Эта команда запрашивает пароль:

sudo mount /dev/sdb1 /media/flash -t vfat -o user,sync,iocharset=utf8,codepage=866,umask=000

Что я не так делаю?

Смотреть на буквы из моего сообщения и текст man до просветления.

Кроме того, я бы на вашем месте проверял, не смонтировано ли уже что-то в данную директорию.

[koluna]

Всем привет!

Как и обещал, выкладываю на ревью свой скрипт. Скрипт рабочий, но, возможно несколько корявый...
Буду благодарен замечаниям и предложениям.

Раздел монтируется автоматом через fstab. Но если при запуске скрипта раздел не смонтирован и есть возможность его смонтировать, то он монтируется скриптом. Размонтирование не осуществляется. Если в заданную точку монтирования смонтирован другой раздел или заданный раздел смонтирован в точку монтирования, отличную от заданной, то скрипт завершается с ошибкой.

(Нажмите, чтобы показать/скрыть)

#!/bin/bash

# Разместить в /etc/fstub строку следующего вида:
# UUID=3dfac940-701b-4813-b757-367d4a98130b /media/backupflash ext4 user,sync 0 0

# Список репозиториев для резервного копирования.
REPOSITORIES="1 2 3"

# Путь к репозиториям.
REPO_PATH="/home/subversion/repositories"

# TODO Разместь в /tmp, именовать уникально с помощью data.
# Временный каталог для выгрузки дампов репозиториев.
DUMP_PATH="$HOME"/temporarydumps

# Каталог для резервных копий.
BACKUP_PATH="$HOME"

# UUID раздела FLASH-накопителя для резервных копий.
FLASH_UUID="3dfac940-701b-4813-b757-367d4a98130b"

# Точка монтирования раздела FLASH-накопителя.
FLASH_MOUNT="/media/backupflash"

# Проверяем наличие временного каталога.
if [ -e "$DUMP_PATH" ]
then
    # Каталог есть, очищаем его.
    echo "There is a temporary directory."
    rm -rf "$DUMP_PATH"/*
else
    # Каталога нет, создаем его.
    echo "There is not a temporary directory."
    mkdir "$DUMP_PATH"
fi

# Шаблон имени файла.
SUFFIX_NAME="`date +%d_%m_%Y_%H_%M`"
echo "$SUFFIX_NAME"

# Выгружаем дампы репозиториев.
for REPO in $REPOSITORIES
do
    # Репозиторий с путем.
    REPO_NAME="$REPO_PATH"/"$REPO"
    echo "$REPO_NAME"

    # Если репозитория не существует, переходим к следующему.
    if [ ! -e "$REPO_NAME" ]
    then
   echo "The $REPO_NAME does not exist!"
        continue
    fi

    # Дамп-файл.
    FILE_NAME="$REPO"_"$SUFFIX_NAME"
    echo "$FILE_NAME"

    # Дамп-файл с путем.
    DUMP_NAME="$DUMP_PATH"/"$FILE_NAME".dump
    echo "$DUMP_NAME"

    # Выгружаем дамп репозитория.
    svnadmin dump "$REPO_NAME" > "$DUMP_NAME"
done

# Архивируем и сжимаем дампы репозиториев.
tar -c -j -f "$BACKUP_PATH"/"$SUFFIX_NAME".bz2 "$DUMP_PATH"

# Удаляем временную папку.
rm -rf "$DUMP_PATH"

if [ ! -e "$FLASH_MOUNT" ]
then # Точка монтирования не существует, завершаем работу.
    echo "The mount path $FLASH_MOUNT does not exist!"
    exit 1
fi

if [ ! -z "`ls /dev/disk/by-uuid | grep "$FLASH_UUID" -o`" ]
then # Есть раздел с требуемым UUID.
    echo "There is a backup FLASH."

    # По UUID получаем имя раздела.
    FLASH_PARTITION="`ls -l /dev/disk/by-uuid | grep "$FLASH_UUID" | grep '[a-z0-9]*$' -o`"
    echo "$FLASH_PARTITION"

    if [ -z "`mount | grep "$FLASH_PARTITION"`" ]
    then # Раздел никуда не смонтирован.
        echo "Backup FLASH doesn't mounted!"

        if [ ! -z "`mount | grep "$FLASH_MOUNT"`" ]
        then # В нужную нам точку монтирования что-то уже смонтировано.
            # TODO Тут бы отмонтировать, но хватит ли прав?
            echo "The mount point is busy!"
            exit 1
        fi

        # Монтируем раздел.
        echo "Backup FLASH will mount."
        mount "$FLASH_MOUNT"
    else # Раздел куда-то смонтирован.
        if [ -z "`mount | grep "$FLASH_PARTITION" | grep "$FLASH_MOUNT"`" ]
        then # Раздел смонтирован, но не туда...
            # TODO Тут бы тоже отмонтировать (но хватит ли прав?) и примонтировать куда нужно.
            echo "Backup FLASH mounted wrong!"
            exit 1
        fi
    fi

    echo "Data will copy."
    # Копируем архив.
    cp "$BACKUP_PATH"/"$SUFFIX_NAME".bz2 "$FLASH_MOUNT"
else # Раздел с требуемым UUID отсутствует!
    echo "There is not a backup FLASH!"
fi

[Freezeman]

Переменные в кавычки не обязательно оборачивать.
Лучше, на мой взгляд, имя точки монтирования генерить на лету (на мой взгляд fstab здесь не нужен). Тоже самое с /tmp.
Проверять точку монтирования нужно сначала.
SUFFIX_NAME не  удобно при сортировке -- лучше Г-М-Д-Ч-М-С.
Хорошо бы проверять свободное место перед началом. И после каждой итерации со следующим репозиторием очищать всё (т.е. копировать на каждой итерации, а не в конце).
Так как предпологается автоматизация, и вероятно будет идти в лог, то я бы добавил отметки времени начала и окончания процесса.

Что произойдёт, если будут запущены две копии скрипта?
Пользователь решил продолжить мысль 22 Июня 2015, 12:58:49:http://www.ibm.com/developerworks/ru/library/l-lpic1-v3-104-3/

[koluna]

Переменные в кавычки не обязательно оборачивать.

Если Вы про синтаксис вида "$VAR", то да, согласен, но рекомендуют заключать, вдруг там будет пробел, ну и для дисциплины
Кстати, "`mount | grep "$FLASH_PARTITION" | grep "$FLASH_MOUNT"`" без внешних кавычек у меня работать отказалась в условном блоке...

Лучше, на мой взгляд, имя точки монтирования генерить на лету (на мой взгляд fstab здесь не нужен). Тоже самое с /tmp.

Не понял. Я задействовал fstab для того, чтобы монтировать бекап-раздел от любого пользователя, не настраивая sudo и не запуская скрипт от рута.

Проверять точку монтирования нужно сначала.

Всмысле? Перед чем?

SUFFIX_NAME не  удобно при сортировке -- лучше Г-М-Д-Ч-М-С.

Ок, но секунды, возможно, излишни.

Хорошо бы проверять свободное место перед началом.

В планах. Еще бы и ротацию сделать Можно простейшим образом: удаляя самый старый файл, соответствующий шаблону.

И после каждой итерации со следующим репозиторием очищать всё (т.е. копировать на каждой итерации, а не в конце).

Хм... это немного другая идеология. Я сделал так: выгружаем последовательно все дампы во временный каталог, архивируем временный каталог, полученный архив кидаем куда надо. А Вы предлагаете для каждого репозитория свой архив?

Так как предпологается автоматизация, и вероятно будет идти в лог, то я бы добавил отметки времени начала и окончания процесса.

В лог не против записать. Пока не знаю как это сделать и время добавить... сейчас просто на экран вывожу.

Что произойдёт, если будут запущены две копии скрипта?

Пока гоню такую мысль Надо как-то блокировать? Файл-флаг? Проверка запущен ли уже процесс?

Ссылку почитаю, спасибо большое.

[Freezeman]

koluna,

Файл-флаг?

Не, не пойдёт: если скрипт упадёт, то файл останется. Если только проверять, не открыт ли он на запись.

В лог не против записать. Пока не знаю как это сделать и время добавить

Код: (bash) [Выделить]

$ script.sh >> backup.log
Либо в syslog: http://www.cyberciti.biz/tips/howto-linux-unix-write-to-syslog.html
Ну а дата, тот же date.

А Вы предлагаете для каждого репозитория свой архив?

Так логичней. Не нужно лазить по архивам выясняя, есть ли там требуемый дамп. Кроме того, тупо экономия места.

Проверять точку монтирования нужно сначала.

Всмысле? Перед чем?

Ваш скрипт уже успел подготовить архивы. И тут выясняется, что вы забыли вставить флешку. Рукалицо.

Не понял. Я задействовал fstab для того, чтобы монтировать бекап-раздел от любого пользователя, не настраивая sudo и не запуская скрипт от рута.

user   Allow an ordinary user to mount the filesystem.  The name of the mounting user is written to mtab so that he can unmount the  filesystem  again.   This  option  implies  the
              options noexec, nosuid, and nodev (unless overridden by subsequent options, as in the option line user,exec,dev,suid).

Пользователь решил продолжить мысль 22 Июня 2015, 18:34:45:

Еще бы и ротацию сделать Можно простейшим образом: удаляя самый старый файл, соответствующий шаблону.

Лучше удалять простроченные, например, старше одного месяца.

[koluna]

Не, не пойдёт: если скрипт упадёт, то файл останется. Если только проверять, не открыт ли он на запись.

Сделал по имени процесса (по количеству процессов). Может быть не очень красиво...

$ script.sh >> backup.log

А, ну это понятно, но слишком просто, вот syslog - совсем другое дело

Ваш скрипт уже успел подготовить архивы. И тут выясняется, что вы забыли вставить флешку. Рукалицо.

Скрипт копирует в несколько источников. Сейчас на жесткий диск и FLASH. Если FLASH не вставлена - ну и пусть.
Потом подправим.

user   Allow an ordinary user to mount the filesystem.  The name of the mounting user is written to mtab so that he can unmount the  filesystem  again.   This  option  implies  the
              options noexec, nosuid, and nodev (unless overridden by subsequent options, as in the option line user,exec,dev,suid).

Читал, читал... но Вас все равно не пойму...
В mtab содержится информация о примонтированных разделах, он помогает размонтировать.
Но ведь в fstab все равно нужно прописывать свой раздел с опцией user, а иначе как без sudo примонтировать?

Лучше удалять простроченные, например, старше одного месяца.

Так и сделал.

(Нажмите, чтобы показать/скрыть)

#!/bin/bash

# Разместить в /etc/fstub строку следующего вида:
# UUID=3dfac940-701b-4813-b757-367d4a98130b /media/backupflash ext4 user,sync 0 0

# Список репозиториев для резервного копирования.
REPOSITORIES="1 2 3"

# Путь к репозиториям.
REPO_PATH="/home/subversion/repositories"

# Временный каталог для выгрузки дампов репозиториев.
DUMP_PATH=/tmp/dumps_`date +%Y_%m_%d_%H_%M_%S`

# Каталог для резервных копий.
BACKUP_PATH="$HOME"

# UUID раздела FLASH-накопителя для резервных копий.
FLASH_UUID="3dfac940-701b-4813-b757-367d4a98130b"

# Точка монтирования раздела FLASH-накопителя.
FLASH_MOUNT="/media/backupflash"

SCRIPT_NAME=`basename "$0"`
if [ "`pgrep "$SCRIPT_NAME" -c`" -ge "2" ]
then    # Скрипт уже запущен, выходим.
    echo "Script is already running!"
    exit 1
fi

# Проверяем наличие временного каталога.
if [ -e "$DUMP_PATH" ]
then
    # Каталог есть, очищаем его.
    echo "There is a temporary directory."
    rm -rf "$DUMP_PATH"/*
else
    # Каталога нет, создаем его.
    echo "There is not a temporary directory."
    mkdir "$DUMP_PATH"
fi

# Шаблон имени файла.
SUFFIX_NAME="`date +%Y_%m_%d_%H_%M`"

# Выгружаем дампы репозиториев.
for REPO in $REPOSITORIES
do
    # Репозиторий с путем.
    REPO_NAME="$REPO_PATH"/"$REPO"

    # Если репозитория не существует, переходим к следующему.
    if [ ! -e "$REPO_NAME" ]
    then
   echo "The $REPO_NAME does not exist!"
        continue
    fi

    # Дамп-файл.
    FILE_NAME="$REPO"_"$SUFFIX_NAME"

    # Дамп-файл с путем.
    DUMP_NAME="$DUMP_PATH"/"$FILE_NAME".dump

    # Выгружаем дамп репозитория.
    svnadmin dump "$REPO_NAME" > "$DUMP_NAME"

    # Сжимаем дамп.
    bzip2 -f "$DUMP_NAME"
done

# Копируем на раздел жесткого диска.
cp "$DUMP_PATH"/*.bz2 "$BACKUP_PATH"

if [ ! -e "$FLASH_MOUNT" ]
then # Точка монтирования не существует, завершаем работу.
    echo "The mount path $FLASH_MOUNT does not exist!"
    exit 1
fi

if [ -n "`ls /dev/disk/by-uuid | grep "$FLASH_UUID" -o`" ]
then # Есть раздел с требуемым UUID.
    echo "There is a backup FLASH."

    # По UUID получаем имя раздела.
    FLASH_PARTITION="`ls -l /dev/disk/by-uuid | grep "$FLASH_UUID" | grep '[a-z0-9]*$' -o`"

    if [ -z "`mount | grep "$FLASH_PARTITION"`" ]
    then # Раздел никуда не смонтирован.
        echo "Backup FLASH doesn't mounted!"

        if [ ! -z "`mount | grep "$FLASH_MOUNT"`" ]
        then # В нужную нам точку монтирования что-то уже смонтировано.
            # TODO Тут бы отмонтировать, но хватит ли прав?
            echo "The mount point is busy!"
            exit 1
        fi

        # Монтируем раздел.
        echo "Backup FLASH will mount."
        mount "$FLASH_MOUNT"
    else # Раздел куда-то смонтирован.
        if [ -z "`mount | grep "$FLASH_PARTITION" | grep "$FLASH_MOUNT"`" ]
        then # Раздел смонтирован, но не туда...
            # TODO Тут бы тоже отмонтировать (но хватит ли прав?) и примонтировать куда нужно.
            echo "Backup FLASH mounted wrong!"
            exit 1
        fi
    fi

    # Удаление старых архивов на FLASH-накопителе.
    OLD_FILES=`find "$FLASH_MOUNT" -name '*.dump.bz2' -mtime +1 -maxdepth 1 2>/dev/null`
    if [ -n "$OLD_FILES" ]
    then
       echo "Old files found, it will delete: $OLD_FILES"
       rm -f "$OLD_FILES"
    else
       echo "Old files did not find."
    fi

    echo "Data will copy."
    # Копируем архив.
    cp "$DUMP_PATH"/*.bz2 "$FLASH_MOUNT"
else # Раздел с требуемым UUID отсутствует!
    echo "There is not a backup FLASH!"
fi

# Удаляем временную папку.
#rm -rf "$DUMP_PATH"

[Freezeman]

fstab монтирует автоматом при старте системы. Это никак не связано с ручным монтированием.