Вычислительный кластер на базе Убуту.

[evg89]

Имеем локальная сеть порядка 10 компьютеров под управлением ОС Ubuntu. Требуется организовать вычислительный кластер.
Подскажите, пожалуйста, какие решения существуют для этого, кто что пробовал, может существуют готовые сборки?
Задумка такая: один из компов будет сервером, остальные клиенты, запускаем на сервере задачу с объемными вычислениями - он раскидывает ее на клиентов, т.е. использует их ресурсы. Засекаем время поиска решений, анализируем и т.п.
ЗЫ. Извиняюсь если выразился не ясно - задача не моя, попросили помочь, но никогда не задавался таким вопросом.

[Чистый]

я вот тут как то читал, но руки так и не дошли попробоват http://cluster.linux-ekb.info/

[Karl500]

sge, он же Sun Grid Engine. Есть в репах. Работает. Вот небольшое руководство http://helms-deep.cable.nu/~rwh/blog/?p=159

[evg89]

я вот тут как то читал, но руки так и не дошли попробоват http://cluster.linux-ekb.info/

пробовали, что то там с ключами не выходит.

sge, он же Sun Grid Engine. Есть в репах. Работает. Вот небольшое руководство http://helms-deep.cable.nu/~rwh/blog/?p=159

будем пробовать, спасибо. Вы разворачивали этот кластер?

[Karl500]

Да, там все несложно (как ни странно). Если что - спрашивайте. У нас он развернут на 6 счетных серверах с более чем 100 ядрами. Есть возможность запускать как пакетные задачи, так и интерактивные (в том числе и с использованием X-терминала).

Организация в sge предполагается такая: есть мастер-хост (управляющий), есть счетные хосты (на которых идет счет), есть запускающие хосты (с которых задачи запускаются). Эти множества могут пересекаться.

[evg89]

Возникли такие вопросы:
1. На нем можно запустить задачу си++ из консоли?
2. У вас есть какая-нибудь система для тестирования производительности кластера?

Заранее спасибо!

[Karl500]

1. Запуск задач происходит так:

а) интерактивная задача (которой необходим терминал (X или нет - неважно)

на запускающем хосте даете в терминале команду qlogin (у Вас должен быть настроен вход на все счетные сервера по ssh без пароля по ключу; в случае Х-терминала туннелирование ssh должно быть настроено по умолчанию; крайне желательно настроить еще и "сохранение" хеша хоста в /dev/null и отсутствие его проверки - если нужно, дам конкретные строки настроек). После чего Вы попадаете на один из счетных хостов и там запускаете свою задачу, как обычно)

б) пакетная задача

на запускающем хосте готовится скрипт запуска (например, myjob.sh) примерно такого содержания:

Код: [Выделить]

#!/bin/bash
### Request Bourne shell as shell for job
#$ -S /bin/bash
### Use current directory as working directory
#$ -cwd
### Send email to user when:
### b - job begins
### a - job aborts
### s - job suspends
### e - job ends
#$ -m base
### Name the job:
#$ -N test
### Вместо трех следующих строк поместите далее строки, необходимые для запуска задачи
echo “Running environment:”
env
echo “=============================”
###end of scriptЗдесь:
строки, начинающиеся с ### - это комментарий
строка #$ -S /bin/bash задает используемый шелл
строка #$ -cwd задает текущую директорию
строка #$ -m base задает события, о которых пользователь получит письма
строка #$ -N test задает имя задания (смените на подходящее для Вашего задания)
(в качестве теста можно использовать вышеприведенный образец без изменений).

И запускаете свою задачу командой

Код: [Выделить]

qsub myjob.sh
В ответ Вы получите id (номер) задачи.
После запуска задачи Вы можете выйти с хоста.
По окончании задания в текущей директории должны появиться файлы <имя_задания>.eXXX (ошибки) и <имя_задания>.oXXX (вывод), где XXX - id задачи.

2. Не очень понял, что Вы имеете в виду. sge дает возможность равномерно загружать имеющиеся ресурсы. Если у Вас есть задачи, которые могут в принципе быть распараллелены и выполняться на разных машинах одновременно, взаимодействуя при этом, то Вам нужно будет поставить еще и MPI - например, http://www.open-mpi.org/faq/?category=building#build-rte-sge (то, что такие задачи должны быть соответствующим образом подготовлены говорить не буду: если Вы этого не знаете, то MPI Вам и не нужен).
Пользователь решил продолжить мысль 23 Декабря 2011, 12:18:02:Вот еще неплохая ссылка по OpenMPI и SGE: https://ac.seas.harvard.edu/display/USERDOCS/How+To+Run+Parallel+MPI+Jobs+Using+SGE

[ChaosWarrior]

Задумка такая: один из компов будет сервером, остальные клиенты, запускаем на сервере задачу с объемными вычислениями - он раскидывает ее

Рискну предположить, вам это не удастся.

Вы представляете себе, что программа выполняется на уберкомпьютере, притом нечто автоматически дробит её на части и скармливает каждому из девяти, потом также волшебно собирает в кучу. Типа того, что сейчас назвается облачными вычислениями.Вот уж хренушки. Под то, что вам тут предложили, программу нужно будет радикально переписать. Кластер всего лишь позволит не запускать каждую задачу и переносить в одно место результаты на девяти машинах руками.

Чтобы поднять на кластере Ubuntu, которая будет работать, так, как вы хотите - с размыванием вычислительных ресурсов по сети из десяти машин, нужен патч ядра (о да, компиляйте ядро, красноглазики, ваше любимое занятие) и ещё много всего того, о чём я понятия не имею.
Но уж точно пакетами из репозитория не обойдёшься.

[evg89]

Karl500, а есть руководство на русском языке?
Сегодня пробовали, но видно у нас проблемы с английским языком 
При

Код: [Выделить]

/etc/init.d/gridengine-exec start
получаем:

Код: [Выделить]

error: communication error for "serverK/execd/1" running on port 6445: "can't bind socket"
error: commlib error: can't bind socket (no additional information available)
не подскажите в чем может быть дело?
Заранее спасибо!

[Karl500]

Это известная проблема, да. Сделайте так:
- в файле /etc/hosts не должно быть записи localhost.localdomain, т.е. файл должен иметь вид:

Код: [Выделить]

127.0.0.1 localhost
127.0.1.1 hostname.domain.tld hostname
- на всех хостах (мастере, счетных и запускающих) создайте файл /var/lib/gridengine/default/common/host_aliases (здесь default - имя, заданное при установке sge), в котором будут перечислены все хосты: (<короткое имя хоста>  <FQDN хоста>) :

Код: [Выделить]

hostname hostname.domain.tld
...

- после этого, начиная с мастер-хоста "убейте" процессы grid* (именно убейте - они не остановятся) и запустите заново

Пользователь решил продолжить мысль 23 Декабря 2011, 13:59:12:

нужен патч ядра

"Скрипач не нужен, дядя Вова" (с)

[Skrip]

1. Запуск задач происходит так:

а) интерактивная задача (которой необходим терминал (X или нет - неважно)

на запускающем хосте даете в терминале команду qlogin (у Вас должен быть настроен вход на все счетные сервера по ssh без пароля по ключу; в случае Х-терминала туннелирование ssh должно быть настроено по умолчанию; крайне желательно настроить еще и "сохранение" хеша хоста в /dev/null и отсутствие его проверки - если нужно, дам конкретные строки настроек). После чего Вы попадаете на один из счетных хостов и там запускаете свою задачу, как обычно)

Если не сложно можно настройки.

И еще вопрос, домена у нас нет в этом может быть проблема? Мы просто оставляли domain

[Karl500]

На запускающих хостах в файле /etc/ssh/ssh_config для каждого счетного сервера вставьте такой блок (в начале файла, до блока "по умолчанию"):

Код: [Выделить]

Host cnt01
  UserKnownHostsFile /dev/null
  StrictHostKeyChecking no
  ForwardX11 yes
  ForwardX11Trusted yes
Здесь cnt01 - имя счетного хоста
"UserKnownHostsFile /dev/null" задает место для хранения known_hosts (т.е. "не сохранять")
"StrictHostKeyChecking no" отменяет проверку хостов
"ForwardX11 yes" и "ForwardX11Trusted yes"  задает автотуннелирование X11.

Проверка хостов не нужна потому, что каждое соединение со счетным хостом происходит по новому порту, т.е. при этом файл known_hosts не имеет смысла, и просто будет расти по объему.

Домен - не думаю, чтобы это было проблемой.

[Skrip]

Спасибо большое в понедельник будем пробовать снова может что получиться. 

[Karl500]

Если у Вас на хостах нормально (без ошибок) запускаются службы grid* , то все остальное достаточно просто.
Нужно только правильно настроить сам кластер (на мастер-хосте, например при помощи qmon).

[Skrip]

  У нас это получилось ))))
Сейчасбудем пробовать запустить распаралеленную задачу, осталось воткнуть OpenMPI
Если чтонитьподскажете по этому поводу буду премного благодарен