Instalación de Sherpa AIServer (solo CPU, sin GPU)#

Esta guía describe la instalación y el inicio cuando el modelo de lenguaje se ejecuta en una CPU (sin GPU NVIDIA). La preparación sigue la instalación general. Cambian la imagen del LLM y el perfil de Docker Compose.

Cuándo usarla#

• En un servidor sin GPU NVIDIA o donde el LLM no necesite una GPU.
• Si se aceptan respuestas del LLM mucho más lentas que con GPU.

Importante: Los servicios Whisper y BGE Reranker de docker-compose.yml requieren GPU. En una instalación exclusiva con CPU, no active los perfiles whisper, reranker ni full. Es necesario activar los perfiles embed y cpu. Embedding y PostgreSQL no necesitan NVIDIA.

Archivos necesarios#

Descargue el archivo de cliente, los modelos y las imágenes Docker.

Diferencias respecto de la instalación con GPU#

El resto de la preparación sigue la instalación general:

• Archivo de cliente e imágenes: use una sola versión seleccionada, con las sumas SHA-256 verificadas, según la guía de descarga de la distribución.
• Imágenes: aiserver, aiserver-pg, aiserver-embed, aiserver-code-interpreter, aiserver-mcp-orchestrator, mypy, aiserver-nginx, aiserver-websocket y aiserver-llm-server-cpu. aiserver-whisper y aiserver-bge-reranker solo se necesitan si usa sus perfiles con GPU.
• Modelos: model-paraphrase-multilingual-MiniLM-L12-v2.tar.gz para el servicio de embeddings y un modelo LLM compatible. El instalador ofrece una opción adecuada para CPU.

Imagen LLM para CPU#

Descargue aiserver-llm-server-cpu en lugar de aiserver-llm-server. Si no va a usar GPU, puede omitir la imagen LLM para GPU para ahorrar espacio y tráfico.

Descomprimir e importar las imágenes#

1. Descomprima el archivo de cliente verificado de la versión elegida y coloque junto a él los archivos de imagen de la misma versión. Para una instalación sin red, prepare también los archivos .SHA256SUM.
2. Ejecute sudo ./sh_scripts/install.sh desde el directorio de instalación y seleccione el modo CPU. El instalador elige aiserver-llm-server-cpu, verifica la versión y las sumas de control, importa las imágenes y configura el inicio.
3. Si necesita importar manualmente una imagen para diagnosticar un problema, especifique el nombre exacto del archivo y compruebe antes su suma de control:

docker load --input aiserver-llm-server-cpu_2.5.1.tar.gz # ejemplo para la versión 2.5.1

Para una preparación manual, extraiga los modelos con extract_models.sh y extract_vllm.sh. Después configure .env y los certificados como indica la guía general de instalación. Si usa install.sh, siga las indicaciones del asistente.

Configurar .env para el LLM en CPU#

El servicio aiserver se conecta al LLM mediante LLM_MODEL_API_BASE_URL, LLM_API_HOST y LLM_API_PORT. La API del contenedor aiserver-llm-server-cpu escucha en el puerto 8000 dentro de la red Docker; docker-compose.yml publica el puerto 3007 en el host.

El instalador establece LLM_API_HOST=aiserver-llm-server-cpu. Antes de iniciar, compruebe que los valores de .env sean coherentes:

LLM_API_HOST=aiserver-llm-server-cpu
LLM_API_PORT=8000
LLM_MODEL_API_BASE_URL=http://aiserver-llm-server-cpu:8000

Iniciar con el perfil cpu#

En el directorio de instalación use el archivo docker-compose.yml suministrado y active explícitamente los perfiles embed y cpu. Los perfiles GPU (gpu, gpu2) no deben activarse en un servidor sin GPU.

Inicio básico#

docker compose -f docker-compose.yml --profile embed --profile cpu up -d

Detener#

docker compose -f docker-compose.yml --profile embed --profile cpu down

Comprobar los contenedores#

docker compose -f docker-compose.yml --profile embed --profile cpu ps

El contenedor aiserver-llm-server-cpu debe estar en estado Up.

Comprobación opcional del LLM desde el host#

El archivo Compose publica el puerto 8000 del contenedor como 3007 en el host. Es necesario comprobar la lista de modelos o el endpoint de salud:

curl -sS "http://127.0.0.1:3007/v1/models" || curl -sS "http://127.0.0.1:3007/health"

Si es necesario, revise los registros: docker compose -f docker-compose.yml logs -f aiserver-llm-server-cpu.

Lista de comprobación#

1. Descargue los archivos de la misma versión que para una instalación normal, pero use aiserver-llm-server-cpu en lugar de la imagen LLM para GPU.
2. Descomprima los archivos de cliente, importe las imágenes y extraiga los modelos.
3. Es necesario configurar en .env LLM_MODEL_API_BASE_URL=http://aiserver-llm-server-cpu:8000, junto con LLM_API_HOST y LLM_API_PORT.
4. Es necesario iniciar con docker compose -f docker-compose.yml --profile embed --profile cpu up -d.
5. No active whisper, reranker ni full si el servidor no dispone de GPU para esos servicios.

En una instalación exclusiva con CPU puede omitir las instrucciones de NVIDIA y Container Toolkit si no ejecuta contenedores GPU.