Установка Sherpa AI Server
Перед установкой программных продуктов платформы Sherpa RPA ознакомьтесь с системными требованиями к компьютеру.
Схема взаимодействия между компонентами Sherpa AI Server.
Установка производится по инструкции представленной ниже.
Важно! Для установки Sherpa AI Server необходимо обладать правами администратора.
Для Docker-контейнеров, использующих CUDA, необходимо установить:
драйверы NVIDIA GPU на хост-системе;
пакет NVIDIA Docker Toolkit (nvidia-docker2) на хост-системе, чтобы обеспечить доступ контейнера к GPU хоста;
среду разработки CUDA Toolkit внутри контейнера (она уже установлена).
Примечание: если в системе установлены Docker и Docker-compose, то можно сразу перейти в раздел “Установка CUDA”.
Установка Docker и Docker-compose
Для корректной установки Docker и Docker-compose необходимо установить обновления системы Linux OS.
Далее, в терминале, необходимо выполнить следующую команду (для этого скопируйте скопируйте команду, вставьте ее в окно терминала и нажмите Enter):
sudo apt update && sudo apt upgrade -y
Затем установите Docker, для этого скачайте установочный файл на сайте по ссылке: https://docs.docker.com/engine/install/ubuntu/ и выполните в терминале поочередно следующие команды:
sudo apt install docker.io -y
sudo systemctl enable docker
sudo systemctl start docker
Следующим шагом необходимо установить Docker Compose, для этого перейдите по ссылке: https://docs.docker.com/compose/install/other/ , после этого выполните в терминале поочередно следующие команды:
sudo apt install curl -y
LATEST_COMPOSE_VERSION=$(curl -s https://api.github.com/repos/docker/compose/releases/latest | grep 'tag_name' | cut -d\" -f4)
sudo curl -L "https://github.com/docker/compose/releases/download/${LATEST_COMPOSE_VERSION}/docker-compose-$(uname -s | tr '[:upper:]' '[:lower:]')-$(uname -m | tr '[:upper:]' '[:lower:]')" -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose
Установка NVIDIA GPU drivers
Примечание: если в системе уже установлены NVIDIA drivers (CUDA version >= 12.2) и NVIDIA Docker Toolkit (nvidia-docker2), то можно сразу перейти в раздел “Установка Приложения”.
Для установки NVIDIA GPU drivers выполните в терминале поочередно следующие команды:
sudo apt update && sudo apt upgrade
sudo apt install nvidia-driver-535
sudo reboot
Затем проведите проверку с помощью команды:
nvidia-smi
Установка NVIDIA Docker Toolkit (nvidia-docker2) online
Для установки NVIDIA Docker Toolkit (nvidia-docker2) online выполните в терминале поочередно следующие команды:
sudo apt-get purge -y nvidia-docker
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update
sudo apt-get install -y nvidia-docker2
sudo systemctl restart docker
Установка NVIDIA Container Toolkit online
Для установки NVIDIA Container Toolkit online выполните в терминале поочередно следующие команды:
Настройка продакшн-репозитория:
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
&& curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
При необходимости настройки репозитория для использования экспериментальных пакетов:
sed -i -e '/experimental/ s/^#//g' /etc/apt/sources.list.d/nvidia-container-toolkit.list
Для обновления списка пакетов из репозитория:
sudo apt-get update
Для установки пакетов NVIDIA Container Toolkit:
sudo apt-get install -y nvidia-container-toolkit
Установка CUDA offline
Для установки CUDA offline скачайте архивы файлов (~3,5Gb), доступные по следующий ссылкам:
https://sherparpa.ru/downloads/private/SherpaAIServer/cuda-offline-install.tar.gz
https://sherparpa.ru/downloads/private/SherpaAIServer/nvidia-graphics-drivers-535_535.129.03.orig-amd64.tar.gz
При необходимости обновите драйвер NVIDIA, выполнив в терминале следующие команды:
tar -xzvf nvidia-graphics-drivers-535_535.129.03.orig-amd64.tar.gz --strip-components=1
sudo bash NVIDIA-Linux-x86_64-535.129.03.run
Затем распакуйте ранее скачанный архив, это можно сделать с помощью следующей команды:
tar -xzvf cuda-offline-install.tar.gz
Для установки CUDA repository package используйте команду:
sudo dpkg -i cuda-repo-ubuntu2004-11-8-local_11.8.0-520.61.05-1_amd64.deb
Переместите pin с помощью команды:
sudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600
Скопируйте GPG keyring, используя команду:
sudo cp /var/cuda-repo-ubuntu2004-11-8-local/cuda-*-keyring.gpg /usr/share/keyrings/
Для запуска установщика приложение используйте следующие команду:
cd /var/cuda-repo-ubuntu2004-11-8-local/
sudo dpkg -i *.deb
Последним шагом в установке CUDA offline является обновление переменных окружения, для этого используйте следующую команду:
echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc
Установка приложения
Для установки приложения необходимо поочередно выполнить следующие действия:
Для создания папки проекта, выполните в терминале следующие команды:
sudo mkdir /opt/sais
cd /opt/sais
Затем скачайте архивы файлов (25-50Gb), доступные по следующий ссылкам:
https://sherparpa.ru/downloads/private/SherpaAIServer/model-lama3.tar.gz
Контрольная сумма: 40caeb2a6596c6c1230e9f6b753c770f
https://sherparpa.ru/downloads/private/SherpaAIServer/sais20.tar.gz
Загрузите переданные архивы в папку проекта, выполнив в терминале следующие команды:
Клиенту передаются файлы .tar.gz. Команды для загрузки архивов зависят от версий файлов выбора моделей и названий архивов. Ниже приведены команды в общем виде:
models-****.tar.gz
sais20-****.tar.gz
Если необходимо скачать архивы сразу на сервер выполните в терминале следующие команды:
sudo wget -O model-lama3.tar.gz https://sherparpa.ru/downloads/private/SherpaAIServer/model-lama3.tar.gz
sudo wget -O sais20.tar.gz https://sherparpa.ru/downloads/private/SherpaAIServer/sais20.tar.gz
Примечание: если при распаковке архивов возникает ошибка проверьте контрольные суммы с помощью команды:
md5sum <archive.tar.gz>
И указать md5sum server и md5sum models
Выполните промежуточную проверку с помощью команды:
ls -la
Примечание: 2 архива скопированы в папку проекта. Названия и размеры файлов могут меняться.
Распакуйте архивы, используя следующие команды:
tar -xf <fsais20…>
tar -xf <model-…>
Примечание: если у текущего пользователя <username> нет разрешений для docker group выполните в терминале следующую команду:
sudo usermod -aG docker <username>
Распакуйте docker images с помощью следующей команды:
docker load -i <file_name.tar>
Установите разрешения для скрипта:
chmod 755 run.sh
Проверьте занятость портов:
lsof -i :3003 && lsof -i :3004
Примечание: если порты заняты не важными процессами их можно остановить, используя команду: lsof -i :3003 | awk 'NR>1 {print $2}' | xargs kill -9
Установите права на конфиг для mysql, используя следующую команду:
$ sudo chmod 0444 /opt/sais/oais/backend/config/my.cnf
Настройте доменное имя с помощью команды:
$ sudo nano /opt/sais/oais/backend/config/domain.conf
и замените в этом файле домен "exampledomain.ru" на свой во всех местах (3 изменения), затем сохраните файл.
Настройте сертификаты. Для этого переименуйте сертификат и ключ для своего домена в
orchestrator.crtиorchestrator.keyсоответственно, затем скопируйте их в"./oais/backend/config/certs" и “./client-files/cert”Задайте IP-сервер в файле окружения. Для этого задайте IP-сервер в файле
./client-files/.envи установите параметрHOST_IP=ВАШ.IPСоздайте общую сеть, выполнив в терминале следующую команду:
docker network create --driver bridge --subnet 172.18.0.0/16 llm-net
Выполните запуск контейнеров, используя следующую команду:
$ sudo sh ./run.sh
Создайте базу данных с помощью команды:
$ docker exec -it orchestrator-db mysql -u root -e "CREATE DATABASE IF NOT EXISTS orchestrator CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci"
Примечание: если Вы меняли стандартный пароль от базы данных на свой, то в команде после после root добавьте -p и свой пароль. Пароль по умолчанию задан в файле “./oais/backend/config/config_docker.ini” в параметре “database_password”
Выполните обновление базы данных, используя следующую команду:
$ sudo sh ./oais/migrate.sh
Выполните проверку с помощью команды:
docker stats
При необходимости удалите архивы для экономии места, используя команду:
rm <file_name>
На этом установка приложения завершена. Приложение доступно в браузере.
На загрузку контейнера языковой модели требуется 5-7 минут.
После загрузки контейнера можно перейти в веб интерфейс по ссылке: https://<host_url>
Выполните активацию АИ сервера
Перейдите в браузере по url адресу:
<доменное_АИ_сервера>/setup.php
и если IP адрес отображается верно нажмите на кнопку “Отправить”.
В ответе скрипта будет указан GUID АИ сервера, который необходимо записать вместе с регистрационными данными для дальнейшего использования.
Last updated