Установка Sherpa AI Server

Перед установкой программных продуктов платформы Sherpa RPA ознакомьтесь с системными требованиями к компьютеру.

Схема взаимодействия между компонентами Sherpa AI Server.

Установка производится по инструкции представленной ниже.

Важно! Для установки Sherpa AI Server необходимо обладать правами администратора.

Для Docker-контейнеров, использующих CUDA, необходимо установить:

драйверы NVIDIA GPU на хост-системе;
пакет NVIDIA Docker Toolkit (nvidia-docker2) на хост-системе, чтобы обеспечить доступ контейнера к GPU хоста;
среду разработки CUDA Toolkit внутри контейнера (она уже установлена).

Примечание: если в системе установлены Docker и Docker-compose, то можно сразу перейти в раздел “Установка CUDA”.

Установка Docker и Docker-compose

Для корректной установки Docker и Docker-compose необходимо установить обновления системы Linux OS.

Далее, в терминале, необходимо выполнить следующую команду (для этого скопируйте скопируйте команду, вставьте ее в окно терминала и нажмите Enter):

sudo apt update && sudo apt upgrade -y

Затем установите Docker, для этого скачайте установочный файл на сайте по ссылке: https://docs.docker.com/engine/install/ubuntu/ и выполните в терминале поочередно следующие команды:

sudo apt install docker.io -y

sudo systemctl enable docker

sudo systemctl start docker

Следующим шагом необходимо установить Docker Compose, для этого перейдите по ссылке: https://docs.docker.com/compose/install/other/ , после этого выполните в терминале поочередно следующие команды:

sudo apt install curl -y

LATEST_COMPOSE_VERSION=$(curl -s https://api.github.com/repos/docker/compose/releases/latest | grep 'tag_name' | cut -d\" -f4)

sudo curl -L "https://github.com/docker/compose/releases/download/${LATEST_COMPOSE_VERSION}/docker-compose-$(uname -s | tr '[:upper:]' '[:lower:]')-$(uname -m | tr '[:upper:]' '[:lower:]')" -o /usr/local/bin/docker-compose

sudo chmod +x /usr/local/bin/docker-compose

Установка NVIDIA GPU drivers

Примечание: если в системе уже установлены NVIDIA drivers (CUDA version >= 12.2) и NVIDIA Docker Toolkit (nvidia-docker2), то можно сразу перейти в раздел “Установка Приложения”.

Для установки NVIDIA GPU drivers выполните в терминале поочередно следующие команды:

sudo apt update && sudo apt upgrade

sudo apt install nvidia-driver-535

sudo reboot

Затем проведите проверку с помощью команды:

nvidia-smi

Установка NVIDIA Docker Toolkit (nvidia-docker2) online

Для установки NVIDIA Docker Toolkit (nvidia-docker2) online выполните в терминале поочередно следующие команды:

sudo apt-get purge -y nvidia-docker

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)

curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -

curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

sudo apt-get update

sudo apt-get install -y nvidia-docker2

sudo systemctl restart docker

Установка NVIDIA Container Toolkit online

Для установки NVIDIA Container Toolkit online выполните в терминале поочередно следующие команды:

Настройка продакшн-репозитория:

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \

&& curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \

sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \

sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

При необходимости настройки репозитория для использования экспериментальных пакетов:

sed -i -e '/experimental/ s/^#//g' /etc/apt/sources.list.d/nvidia-container-toolkit.list

Для обновления списка пакетов из репозитория:

sudo apt-get update

Для установки пакетов NVIDIA Container Toolkit:

sudo apt-get install -y nvidia-container-toolkit

Установка CUDA offline

Для установки CUDA offline скачайте архивы файлов (~3,5Gb), доступные по следующий ссылкам:

https://sherparpa.ru/downloads/private/SherpaAIServer/cuda-offline-install.tar.gz

https://sherparpa.ru/downloads/private/SherpaAIServer/nvidia-graphics-drivers-535_535.129.03.orig-amd64.tar.gz

При необходимости обновите драйвер NVIDIA, выполнив в терминале следующие команды:

tar -xzvf nvidia-graphics-drivers-535_535.129.03.orig-amd64.tar.gz --strip-components=1

sudo bash NVIDIA-Linux-x86_64-535.129.03.run

Затем распакуйте ранее скачанный архив, это можно сделать с помощью следующей команды:

tar -xzvf cuda-offline-install.tar.gz

Для установки CUDA repository package используйте команду:

sudo dpkg -i cuda-repo-ubuntu2004-11-8-local_11.8.0-520.61.05-1_amd64.deb

Переместите pin с помощью команды:

sudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600

Скопируйте GPG keyring, используя команду:

sudo cp /var/cuda-repo-ubuntu2004-11-8-local/cuda-*-keyring.gpg /usr/share/keyrings/

Для запуска установщика приложение используйте следующие команду:

cd /var/cuda-repo-ubuntu2004-11-8-local/

sudo dpkg -i *.deb

Последним шагом в установке CUDA offline является обновление переменных окружения, для этого используйте следующую команду:

echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc

echo 'export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc

source ~/.bashrc

Установка приложения

Для установки приложения необходимо поочередно выполнить следующие действия:

Для создания папки проекта, выполните в терминале следующие команды:

sudo mkdir /opt/sais

cd /opt/sais

Затем скачайте архивы файлов (25-50Gb), доступные по следующий ссылкам:

https://sherparpa.ru/downloads/private/SherpaAIServer/model-lama3.tar.gz

Контрольная сумма: 40caeb2a6596c6c1230e9f6b753c770f

https://sherparpa.ru/downloads/private/SherpaAIServer/sais20.tar.gz

Загрузите переданные архивы в папку проекта, выполнив в терминале следующие команды:

Клиенту передаются файлы .tar.gz. Команды для загрузки архивов зависят от версий файлов выбора моделей и названий архивов. Ниже приведены команды в общем виде:

models-****.tar.gz

sais20-****.tar.gz

Если необходимо скачать архивы сразу на сервер выполните в терминале следующие команды:

sudo wget -O model-lama3.tar.gz https://sherparpa.ru/downloads/private/SherpaAIServer/model-lama3.tar.gz

sudo wget -O sais20.tar.gz https://sherparpa.ru/downloads/private/SherpaAIServer/sais20.tar.gz

Примечание: если при распаковке архивов возникает ошибка проверьте контрольные суммы с помощью команды:

md5sum <archive.tar.gz>

И указать md5sum server и md5sum models

Выполните промежуточную проверку с помощью команды:

ls -la

Примечание: 2 архива скопированы в папку проекта. Названия и размеры файлов могут меняться.

Распакуйте архивы, используя следующие команды:

tar -xf <fsais20…>

tar -xf <model-…>

Примечание: если у текущего пользователя <username> нет разрешений для docker group выполните в терминале следующую команду:

sudo usermod -aG docker <username>

Распакуйте docker images с помощью следующей команды:

docker load -i <file_name.tar>

Установите разрешения для скрипта:

chmod 755 run.sh

Проверьте занятость портов:

lsof -i :3003 && lsof -i :3004

Примечание: если порты заняты не важными процессами их можно остановить, используя команду: lsof -i :3003 | awk 'NR>1 {print $2}' | xargs kill -9

Установите права на конфиг для mysql, используя следующую команду:

$ sudo chmod 0444 /opt/sais/oais/backend/config/my.cnf

Настройте доменное имя с помощью команды:

$ sudo nano /opt/sais/oais/backend/config/domain.conf

и замените в этом файле домен "exampledomain.ru" на свой во всех местах (3 изменения), затем сохраните файл.

Настройте сертификаты. Для этого переименуйте сертификат и ключ для своего домена в orchestrator.crt и orchestrator.key соответственно, затем скопируйте их в "./oais/backend/config/certs" и “./client-files/cert”
Задайте IP-сервер в файле окружения. Для этого задайте IP-сервер в файле ./client-files/.env и установите параметр HOST_IP=ВАШ.IP
Создайте общую сеть, выполнив в терминале следующую команду:

docker network create --driver bridge --subnet 172.18.0.0/16 llm-net

Выполните запуск контейнеров, используя следующую команду:

$ sudo sh ./run.sh

Создайте базу данных с помощью команды:

$ docker exec -it orchestrator-db mysql -u root -e "CREATE DATABASE IF NOT EXISTS orchestrator CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci"

Примечание: если Вы меняли стандартный пароль от базы данных на свой, то в команде после после root добавьте -p и свой пароль. Пароль по умолчанию задан в файле “./oais/backend/config/config_docker.ini” в параметре “database_password”