SMB кластер на Ubuntu server 12.04 LTS

[PbI6A]

SMB кластер на Ubuntu server 12.04 LTS.

Взялся поставить SMB кластер на Ubuntu server 12.04 LTS.

Один сервер уже был поставлен раньше, ещё во время Alpha1 и показал себя очень и очень хорошо. Установил второй сервер с аналогичной или весьма близкой конфигурацией, создал аналогичный SMB -конфиг, просинхронизировал с помощью rsync. На сервере есть директория /shares, в которой хранятся периодически архивируемые директории пользователей /shares/user/… и некоторые другие директории /shares/… например, системная /shares/lost+found, которую нам синхронизировать будет ни к чему.

Из чего и как будет сделан кластер?

1. Ноды кластера будут иметь разные ip адреса и тот кластер, который будет становиться основным, будет поднимать на сетевом интерфейсе алиас с “рабочим” ip кластера, на который будут подключаться люди.

2. Информация будет синхронизироваться с помощью rsync, так что при не слишком больших изменениях хранимой информации и регулярных обновлениях, обновляться будет реально не много.

3. Исчезновение сети на кластере будет проверяться по пропадению “маршрутизатора по умолчанию”.

4. Подъём кластера будет производиться по пропадению его основного ip в зоне видимости остальных нодов при наличии “маршрутизатора по умолчанию”.

5. Описанная модель кластера предполагает реализацию, скорее, “наиболее дешёвого в реализации кластера, дающего удовлетворительные параметры по доступности и сохранности информации”, чем “гарантирующий сохранность информации при относительной доступности и высокой цене кластер”.

1. Конфигурация rsync.

/etc/default/rsync:
====фрагмент====
RSYNC_ENABLE=true
====фрагмент====

sudo touch /etc/rsyncd.conf
sudo nano /etc/rsyncd.conf
В файле настройки rsync пишем:

====начало====
[shares]
comment = All files
path = /shares
use chroot = false
uid = backup
gid = backup
log file = /var/log/rsyncd/shares.log
read only = true
write only = false
hosts allow = здесь пишем адрес нашей подсети с маской (или подсети нашего кластера – более параноидальный вариант)
hosts deny = *
transfer logging = false
====конец====

sudo touch /etc/rsync_password
sudo nano /etc/rsync_password

В файле пароля rsync_password пишем:

====начало====
123456 (или что там у вас будет в качестве пароля?)
====конец====

Просто так, одной строкой и больше ничего!

sudo chmod 600 /etc/rsync_password
sudo mkdir /var/log/rsyncd

sudo touch /etc/logrotate.d/rsyncd
sudo nano /etc/logrotate.d/rsyncd

В файле настройки ротации логов rsync пишем:

====начало====
/var/log/rsyncd/shares.log {
rotate 6
weekly
compress
missingok
notifempty
}
====конец====

sudo service rsync start

В принципе, сервис настроен и должен запуститься с сообщением [OK], убедиться в его работе можно командой:
rsync rsync://localhost

Должен быть показан ресурс с комментарием:
shares                    All files

2. Настройка кластера.

Для основных кластерных служб мы создадим директорию в общем серверном доступе (в которой, разумеется, не будет пароля, см. п.1):

sudo mkdir /shares/user/backup
sudo chown root:root /shares/user/backup
sudo touch /shares/user/backup/cluster.pl
sudo nano /shares/user/backup/cluster.pl
sudo chmod +x /shares/user/backup/cluster.pl

На данный момент (2012-05-29) программа управления кластером у меня такая:

====начало====
#!/usr/bin/perl
#
# basic config
#
$cluster_ip=”основной ip адрес кластера“;
$cluster_ip_mask=”маска ip адреса кластера“;
$defaultrouter_ip=”ip адрес маршрутизатора по умолчанию“;
$iface=”имя сетевого интерфейса“;
$timeout=7;# этот параметр (в секундах) нужен чтобы кластер не глючил на время переходных процессов в сетевых интерфейсах. В отдельных “тяжёлых” (cisco detected!) случаях может потребоваться величина 60 или даже 80. Чем величина меньше, тем переключение “шустрее”, но небезопаснее.
$logfile=”/var/log/cluster.log”;
#
# ping
#
use Net::Ping;
$p=Net::Ping->new();
#
# force not master if rebooted
#
`ifconfig $iface\:0 down 2>/dev/null`;
`service rsync stop`;
#
# logging
#
$date=`date`;
chop ($date);
`echo $date Cluster started as node>>$logfile`;
`echo rsync daemon stopped>>$logfile`;
`ifconfig $iface>>$logfile`;
#
$master=0;
$lan=0;
$count=0;
#
while (TRUE){
#
# ping testing
#
if ($p->ping($defaultrouter_ip,3) gt 0){$lan=1;$count++;}else{$lan=0;$count=0;}
#
# testing if need to move master->node
#
if ($lan eq 0 && $master eq 1){
$master=0;
$count=0;
`ifconfig $iface\:0 down 2>/dev/null`;
`service rsync stop`;
$date=`date`;
chop ($date);
`echo $date Cluster state: master-\>node>>$logfile`;
`echo rsync daemon stopped>>$logfile`;
`ifconfig $iface>>$logfile`;
}
#
# testing if need to move node->master
#
if ($lan eq 1 && $p->ping($cluster_ip,3) lt 1 && $master eq 0 && $count gt $timeout){
$master++;
`ifconfig $iface\:0 inet $cluster_ip/$cluster_ip_mask `;
`killall -INT rsync`;
`service rsync start`;
$date=`date`;
chop ($date);
`echo $date Cluster state: node-\>master>>$logfile`;
`echo rsync daemon started>>$logfile`;
`ifconfig $iface>>$logfile`;
}
#
#print “lan=$lan count=$count master=$master\n”;
#
# timeout
#
$c=`ps ax|grep rsync|grep avz|grep -v grep`;
chop ($c);
if ($c eq “” && $master eq 0){ `/shares/user/backup/sync.sh`;}
`sleep 1`;
}
====конец====

Почти в самом конце ширным выделен скрипт, который будет запускать ресинхронизацию нода с текущего активного кластера. Эта самая ресинхронизация будет прерываться командой killall в тот момент, когда нода превратится в активный кластерный элемент.

3. Синхронизация.

Как это не чудовищно, но нам придётся синхронизировать все ноды с активным кластерным элементом. Постоянно, 24/7. Делать это будет простенький скрипт.

sudo touch /shares/user/backup/sync.sh
sudo chmod +x /shares/user/backup/sync.sh
sudo nano /shares/user/backup/sync.sh

Вот что будет внутри:

====начало====
#!/bin/sh
rsync –password-file=/etc/rsync_password -avz –delete –exclude lost+found –exclude user/backup –exclude user/bk rsync://username@cluster_ip:/shares/ /shares>/dev/null 2>/dev/null
====конец====

Именно для этого username мы и сохраняли пароль в п.1. Разумеется, username и пароль должны быть одинаковыми для всех нодов нашего кластера. Директория user/bk, упомянутая в этом файле – хранилище резервных копий документов, которые у меня делаются средствами нода, и потому в синхронизации не участвует.

4. Автостарт.

Запускаться всё это безобразие будет из стартовых скриптов.

sudo touch /etc/init.d/cl-daemon
sudo chmod +x /etc/init.d/cl-daemon
sudo nano /etc/init.d/cl-daemon

Вот что будет внутри:

====начало====
#!/bin/sh
#/shares/user/backup/bk.pl&
/shares/user/backup/cluster.pl&
====конец====

sudo ln -s /etc/init.d/cl-daemon /etc/rc2.d/S99cl-daemon

Аналогично настраиваем второй (другие) нод кластера. Устанавливаем в серверный шкаф…

[PbI6A]

В последнее время стали наблюдаться сильные тормоза кластера. Отключение rsync, бэкапа и кластерных скриптов ни коим образом не влияет на улучшение ситуации. У кого-нибудь был подобный эффект на высоконагруженном SMB-сервере?
Пока сервер был 12.04 alpha1, всё вообще летало. После релиза и обновления началось