Установка Sherpa AI Server
Перед установкой программных продуктов платформы Sherpa RPA ознакомьтесь с системными требованиями к компьютеру.
Схема взаимодействия между компонентами Sherpa AI Server.
Установка производится по инструкции представленной ниже.
Для установки Sherpa AI Server необходимо обладать правами администратора.
Для Docker-контейнеров, использующих CUDA, необходимо установить:
драйверы NVIDIA GPU на хост-системе;
пакет NVIDIA Docker Toolkit (nvidia-docker2) на хост-системе, чтобы обеспечить доступ контейнера к GPU хоста;
среду разработки CUDA Toolkit внутри контейнера (она уже установлена).
Если в системе установлены Docker и Docker-compose, следует сразу перейти в раздел “Установка CUDA”.
Установка Docker и Docker-compose
Для корректной установки Docker и Docker-compose необходимо установить обновления системы Linux OS.
Далее, в терминале, необходимо выполнить следующую команду (для этого скопируйте скопируйте команду, вставьте ее в окно терминала и нажмите Enter):
Update Linux OS
$ sudo apt update
Затем установите Docker, для этого скачайте установочный файл на сайте по ссылке: https://docs.docker.com/engine/install/ubuntu/ и выполните в терминале поочередно следующие команды:
$ sudo apt install docker.io -y
$ sudo systemctl enable docker
$ sudo systemctl start docker
Следующим шагом необходимо установить Docker Compose, для этого перейдите по ссылке: https://docs.docker.com/compose/install/other/ , после этого выполните в терминале поочередно следующие команды:
$ sudo apt install curl -y
$ LATEST_COMPOSE_VERSION=$(curl -s https://api.github.com/repos/docker/compose/releases/latest | grep 'tag_name' | cut -d\" -f4)
$ sudo curl -L "https://github.com/docker/compose/releases/download/${LATEST_COMPOSE_VERSION}/docker-compose-$(uname -s | tr '[:upper:]' '[:lower:]')-$(uname -m | tr '[:upper:]' '[:lower:]')" -o /usr/local/bin/docker-compose
$ sudo chmod +x /usr/local/bin/docker-compose
Установка NVIDIA GPU drivers
Примечание: если в системе уже установлены NVIDIA drivers (CUDA version >= 12.2) и NVIDIA Docker Toolkit (nvidia-docker2), то можно сразу перейти в раздел “Установка Приложения”.
Для установки NVIDIA GPU drivers выполните в терминале поочередно следующие команды:
Затем проведите проверку с помощью команды:
Установка NVIDIA Docker Toolkit (nvidia-docker2) online
Для установки NVIDIA Docker Toolkit (nvidia-docker2) online выполните в терминале поочередно следующие команды:
Установка NVIDIA Container Toolkit online
Для установки NVIDIA Container Toolkit online выполните в терминале поочередно следующие команды:
Настройка продакшн-репозитория:
При необходимости настройки репозитория для использования экспериментальных пакетов:
Для обновления списка пакетов из репозитория:
Для установки пакетов NVIDIA Container Toolkit:
Установка CUDA offline
Для установки CUDA offline скачайте архивы файлов (~3,5Gb), доступные по следующий ссылкам:
При необходимости обновите драйвер NVIDIA, выполнив в терминале следующие команды:
Затем распакуйте ранее скачанный архив, это можно сделать с помощью следующей команды:
Для установки CUDA repository package используйте команду:
Переместите pin с помощью команды:
Скопируйте GPG keyring, используя команду:
Для запуска установщика приложение используйте следующие команду:
Последним шагом в установке CUDA offline является обновление переменных окружения, для этого используйте следующую команду:
Установка приложения
Для установки приложения необходимо поочередно выполнить следующие действия:
Перейти в папку приложения:
$ cd /opt
Скачивание архивов в папку проекта. 3 архива (~10-20 Gb)
Клиенту передаются файлы .tar.gz:
sais20CPU-****.tar.gz .
Meta-Llama-3-8B-Instruct-Q4_K_S.gguf
sentence-transformers-model.tar.gz
Либо скачиваются из хранилища:
$ sudo wget -O Meta-Llama-3-8B-Instruct-Q4_K_S.gguf https://sherparpa.ru/downloads/private/SherpaAIServer/Meta-Llama-3-8B-Instruct-Q4_K_S.gguf
$ sudo wget -O sais20CPU-20250425.tar.gz https://sherparpa.ru/downloads/private/SherpaAIServer/sais20CPU-20250425.tar.gz
$ sudo wget -O sentence-transformers-model.tar.gz https://sherparpa.ru/downloads/private/SherpaAIServer/sentence-transformers-model.tar.gz
Создайте папку проекта
$ sudo mkdir -p /opt/sais
Перейдите в папку
$ cd /opt/sais
Скопировать модель
$ sudo mkdir -p /opt/sais/model-store/meta-llama
$ cp Meta-Llama-3-8B-Instruct-Q4_K_S.gguf /opt/sais/model-store/meta-llama
Распакуйте архивы(5-10 минут)
$ sudo tar -xf sais20CPU-20250425.tar.gz
sudo tar -xf sentence-transformers-model.tar.gz
*если у текущего пользователя <username>
нет разрешений для docker group
$ sudo usermod -aG docker <username>
Распаковка docker images
$ sudo docker load --input sais20CPU-images.tar
Сделайте вcе сценарии в директории исполняемыми
$ sudo find ./*.sh -type f | sudo xargs chmod +x
Установите права на конфиг для mysql
$ sudo chmod 0444 /opt/sais/oais/backend/config/my.cnf
Настройте Доменное имя
$ sudo nano ./oais/backend/config/domain.conf
Замените в этом файле домен "exampledomain" на свой во всех местах и сохраните файл (3 изменения).
Настройка окружения
Задайте IP-сервер в файле окружения. Для этого задайте IP-сервер в файле ./client-files/.env и установите параметр HOST_IP=ВАШ.IP
Создайте общую сеть, выполнив в терминале следующую команду
$ sudo docker network create --driver bridge --subnet 172.18.0.0/16 llm-net
Настройте сертификаты
Переименуйте сертификат и ключ для своего домена в orchestrator.crt и orchestrator.key соответственно и скопируйте их в "./oais/backend/config/certs".
Выполните запуск контейнеров
$ sudo sh ./run.sh
Создайте базу данных
$ docker exec -it orchestrator-db mysql -u root -e "CREATE DATABASE IF NOT EXISTS orchestrator CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci"
# Если стандартный пароль от базы меняли на свой, то нужно после root добавить -p и свой пароль.
Выполните обновление базы данных:
$ sudo sh ./oais/migrate.sh
Проверка
$ docker stats
При необходимости удалите архивы для экономии места
$ rm <file_name>
На этом установка завершена, и приложение доступно в браузере:
Требуется 5-7 минут на загрузку контейнера языковой модели ( llm-server):
CPU % ~ 0% MEM USAGE > 5 Gib После этого можно переходить по ссылке: https://<host_url>(web interface)
Выполните активацию AI Server
Перейдите в браузере по url адресу: <доменное_АИ_сервера>/setup.php
и если IP адрес отображается верно нажмите на кнопку “Отправить”.
В ответе скрипта будет указан GUID АИ сервера, который необходимо записать вместе с регистрационными данными для дальнейшего использования.
Last updated