Как создать кластерный компьютер | Часть 5 — Установка Slurm на узел входа/головной узел

Описание: Это видео посвящено установке и настройке системы очередей Slurm в Linux (здесь Ubuntu). Вы также узнаете, как настроить Slurm на кластерном компьютере и отправлять через него задания.

В этом плейлисте я расскажу о настройке кластерной вычислительной системы в Ubuntu (Linux), а также о настройке системы очередей для отправки расчётов.

Команды, описанные в этом видео, приведены ниже:
Установка SLURM ###
Установка Slurm на узел входа

$ export MUNGEUSER=1001
$ sudo groupadd -g $MUNGEUSER munge
$ sudo useradd -m -c "MUNGE Uid 'N' Gid Emporium" -d /var/lib/munge -u $MUNGEUSER -g munge -s /sbin/nologin munge
$ export SLURMUSER=1002
$ sudo groupadd -g $SLURMUSER slurm
$ sudo useradd -m -c "SLURM workload manager" -d /var/lib/slurm -u $SLURMUSER -g slurm -s /bin/bash slurm
sudo apt-get install -y munge
sudo chown -R munge: /etc/munge/ /var/log/munge/ /var/lib/munge/ /run/munge/
sudo chmod 0700 /etc/munge/ /var/log/munge/ /var/lib/munge/ /run/munge/
sudo scp /etc/munge/munge.key /nfs/slurm/
sudo systemctl enable munge
sudo systemctl start munge
Установка Slurm и связанных компонентов на контроллер Slurm (узел входа)
sudo apt-get install mariadb-server
sudo apt-get install slurmdbd
sudo apt-get install slurm-wlm

Создание и настройка базы данных slurm_acct_db: (узел входа)
sudo –I (войдите как root. Также можно использовать команду su)
mysql
grant all on slurm_acct_db.* TO 'slurm'@'localhost', идентифицированный как 'hashmi12' с возможностью предоставления прав;
создать базу данных slurm_acct_db;
выход
sudo mkdir /etc/slurm-llnl
sudo nano /etc/slurm-llnl/slurmdbd.conf (Добавьте в файл строки, выделенные зелёным цветом, и сохраните)

AuthType=auth/munge
DbdAddr=localhost
#DbdHost=master0
DbdHost=localhost
DbdPort=6819
SlurmUser=slurm
DebugLevel=4
LogFile=/var/log/slurm/slurmdbd.log
PidFile=/run/slurm/slurmdbd.pid
StorageType=accounting_storage/mysql
StorageHost=localhost
StorageLoc=slurm_acct_db
StoragePass=hashmi12
StorageUser=slurm
###Настройка Параметры очистки базы данных
PurgeEventAfter=12months
PurgeJobAfter=12months
PurgeResvAfter=2months
PurgeStepAfter=2months
PurgeSuspendAfter=1months
PurgeTXNAfter=12months
PurgeUsageAfter=12months

Теперь нам нужно назначить владельца этого файла.
chown slurm:slurm /etc/slurm/slurmdbd.conf
chmod -R 600 slurmdbd.conf

Файл конфигурации /etc/slurm/slurm.conf:
Посетите веб-сайт (https://slurm.schedmd.com/configurato..., чтобы сгенерировать файл конфигурации Slurm
sudo nano /etc/slurm-llnl/slurm.conf

Разрешите порты в брандмауэре
sudo ufw allow 6817
sudo ufw allow 6818
sudo ufw allow 6819
На главном узле: (войдите как root и выполните все команды ниже)
mkdir /var/spool/slurmctld
chown slurm:slurm /var/spool/slurmctld
chmod 755 /var/spool/slurmctld
mkdir /var/log/slurm
touch /var/log/slurm/slurmctld.log
touch /var/log/slurm/slurm_jobacct.log /var/log/slurm/slurm_jobcomp.log
chown -R slurm:slurm /var/log/slurm/
chmod 755 /var/log/slurm

#Поиск и изменение расположения PID-файла
find / -name "slurmctld.service"
find / -name "slurmd.service"
find / -name "slurmdbd.service"

nano /usr/lib/systemd/system/slurmctld.service
nano /usr/lib/systemd/system/slurmdbd.service
nano /usr/lib/systemd/system/slurmd.service
#Запустить Выполните команду от имени пользователя root
echo CgroupMountpoint=/sys/fs/cgroup &gt &gt /etc/slurm-llnl/cgroup.conf

slurmd -C
Запустите службы SLURM на узле входа
systemctl daemon-reload
systemctl enable slurmdbd
systemctl start slurmdbd
systemctl enable slurmctld
systemctl start slurmctld
На этом этапе проверьте состояние запущенных служб:
systemctl status slurmdbd
systemctl status slurmctld
Если какая-либо из служб неактивна, попробуйте перезагрузить компьютер и повторить проверку. Надеюсь, это поможет.

Подпишитесь на мой канал, чтобы получать больше познавательных видео о вычислительной химии и других важных программных инструментах, таких как Gaussian, MS Word, Excel, PowerPoint, Endnote, ChemDraw и т. д.    / wisdomcenter  
Страница в Facebook:   / muhammadali.hashmi.33  
Instagram:   / hashmi_photography  
Электронная почта: muhammad.hashmi [at sign] ue.edu.pk