Ru

Установка Sherpa AIServer (только CPU, без GPU)#

Это руководство описывает установку и запуск стека, когда языковая Модель работает на CPU (без NVIDIA GPU). Подготовка совпадает с общей установкой. Отличаются образ LLM и профиль запуска Docker Compose.

Кому подходит#

  • Сервер без видеокарты NVIDIA или без необходимости использовать GPU для LLM.
  • Готовность к значительно более медленной генерации ответов LLM по сравнению с GPU-вариантом.

Важно: В docker-compose.yml сервисы Whisper и BGE Reranker по-прежнему рассчитаны на GPU. Для чисто CPU-сценария не включайте профили whisper, reranker и full — включайте профили embed и cpu. Embedding и PostgreSQL не требуют NVIDIA.

Что скачать (как при обычной установке, с заменой образа LLM)#

Необходимо скачать архив клиентских файлов, Модели, остальные образы.

Отличие от GPU-установки#

Компонент GPU-установка CPU-установка
Образ LLM aiserver-llm-server aiserver-llm-server-cpu
Запуск Compose docker-compose.yml, без профиля cpu docker-compose.yml, профиль cpu

Остальное по списку из подготовки без изменений, если вы не используете опциональные GPU-сервисы:

  • Клиентский архив и образы: одной выбранной версии, с проверенными SHA-256, как в инструкции скачивания дистрибутива.
  • Образы: aiserver, aiserver-pg, aiserver-embed, aiserver-code-interpreter, aiserver-mcp-orchestrator, mypy, aiserver-nginx, aiserver-websocket, aiserver-llm-server-cpu. aiserver-whisper и aiserver-bge-reranker нужны только при использовании соответствующих GPU-профилей.
  • Модели: model-paraphrase-multilingual-MiniLM-L12-v2.tar.gz для сервиса embed и одна поддерживаемая LLM-Модель на выбор. Установщик предложит подходящий вариант для CPU.

Прямые ссылки для образа CPU-LLM#

Необходимо скачать образ вместо aiserver-llm-server (или дополнительно к нему, если хотите иметь оба варианта):

Образ aiserver-llm-server для CPU-сценария не обязателен — его можно не скачивать, чтобы сэкономить место и трафик.

Распаковка и загрузка образов в Docker#

  1. Необходимо распаковать проверенный клиентский архив выбранной версии и поместите архивы образов той же версии рядом с ним. Для автономной установки необходимо подготовить также их файлы .SHA256SUM.
  2. Необходимо запустить sudo ./sh_scripts/install.sh из каталога установки и необходимо выбрать режим CPU. Установщик подберет образ aiserver-llm-server-cpu, проверит версию и контрольные суммы, загрузит образы и настроит запуск.
  3. Если вам нужен ручной импорт образа для диагностики, необходимо указать его точное имя и предварительно сверьте контрольную сумму:
docker load --input aiserver-llm-server-cpu_2.5.1.tar.gz # пример для версии 2.5.1

При ручной подготовке необходимо распаковать Модели скриптами extract_models.sh и extract_vllm.sh, затем необходимо настроить .env и сертификаты по общей инструкции установки. При установке через install.sh следуйте его шагам.

Настройка .env для связи с CPU-LLM#

Основной сервис aiserver обращается к LLM по переменным LLM_MODEL_API_BASE_URL / LLM_API_HOST и LLM_API_PORT. Для контейнера aiserver-llm-server-cpu внутри Docker-сети API слушает порт 8000 (внешний публикации на хосте в docker-compose.yml — 3007, для отладки с хоста).

Установщик задает LLM_API_HOST=aiserver-llm-server-cpu. Перед запуском необходимо проверить согласованность значений в .env:

LLM_API_HOST=aiserver-llm-server-cpu
LLM_API_PORT=8000
LLM_MODEL_API_BASE_URL=http://aiserver-llm-server-cpu:8000

Запуск с docker-compose.yml и профилем cpu#

В каталоге установки можно использовать файл docker-compose.yml (как в поставке клиенту) и явно включите профили embed и cpu, чтобы поднялся сервис aiserver-llm-server-cpu, а GPU-профили (gpu, gpu2) не активировались.

Базовый запуск (только CPU для LLM)#

docker compose -f docker-compose.yml --profile embed --profile cpu up -d

Остановка#

docker compose -f docker-compose.yml --profile embed --profile cpu down

Проверка контейнеров#

docker compose -f docker-compose.yml --profile embed --profile cpu ps

Должен быть в статусе Up, в том числе контейнер aiserver-llm-server-cpu.

Проверка LLM с хоста (опционально)#

В docker-compose.yml порт LLM на CPU проброшен как 3007:8000. Пример проверки (подставьте свою Модель и эндпоинт API вашего LLM-сервиса):

curl -sS "http://127.0.0.1:3007/v1/models" || curl -sS "http://127.0.0.1:3007/health"

Точный путь зависит от API образа aiserver-llm-server-cpu. При необходимости можно посмотреть логи:
docker compose -f docker-compose.yml logs -f aiserver-llm-server-cpu.

Краткий чеклист#

  1. Скачать те же артефакты, что для обычной установки, но образ LLM — aiserver-llm-server-cpu, не aiserver-llm-server (если не нужен GPU).
  2. Распаковать клиентские файлы, загрузить образы, распаковать Модели.
  3. В .env задать LLM_MODEL_API_BASE_URL=http://aiserver-llm-server-cpu:8000 (и согласованные LLM_API_HOST / LLM_API_PORT).
  4. Запустить: docker compose -f docker-compose.yml --profile embed --profile cpu up -d.
  5. Не использовать профили whisper / reranker / full, если на машине нет GPU под эти сервисы.

Для CPU-установки блок про NVIDIA и Container Toolkit можно не выполнять, если вы не запускаете GPU-контейнеры.