Instalação do Sherpa AIServer (somente CPU, sem GPU)#

Este guia descreve a instalação e a inicialização quando o modelo de linguagem é executado em uma CPU (sem GPU NVIDIA). A preparação segue a instalação geral. Mudam a imagem do LLM e o perfil do Docker Compose.

Quando usar#

• Em um servidor sem GPU NVIDIA ou onde o LLM não precise de GPU.
• Quando forem aceitáveis respostas do LLM bem mais lentas do que com GPU.

Importante: Os serviços Whisper e BGE Reranker em docker-compose.yml exigem GPU. Em uma instalação somente CPU, não ative os perfis whisper, reranker ou full. É necessário ativar os perfis embed e cpu. Embedding e PostgreSQL não exigem NVIDIA.

Arquivos necessários#

Baixe o arquivo do cliente, os modelos e as imagens Docker.

Diferenças em relação à instalação com GPU#

O restante da preparação segue a instalação geral:

• Arquivo do cliente e imagens: use uma única versão escolhida, com os checksums SHA-256 verificados, conforme o guia de download da distribuição.
• Imagens: aiserver, aiserver-pg, aiserver-embed, aiserver-code-interpreter, aiserver-mcp-orchestrator, mypy, aiserver-nginx, aiserver-websocket e aiserver-llm-server-cpu. aiserver-whisper e aiserver-bge-reranker só são necessários se seus perfis de GPU forem usados.
• Modelos: model-paraphrase-multilingual-MiniLM-L12-v2.tar.gz para o serviço de embeddings e um modelo LLM compatível. O instalador oferece uma opção adequada para CPU.

Imagem LLM para CPU#

Baixe aiserver-llm-server-cpu em vez de aiserver-llm-server. Se não for utilizar GPU, pode dispensar a imagem LLM para GPU e economizar espaço e tráfego.

Descompactar e carregar as imagens#

1. Descompacte o arquivo do cliente verificado da versão escolhida e coloque ao lado dele os arquivos de imagem da mesma versão. Para uma instalação offline, prepare também os arquivos .SHA256SUM.
2. Execute sudo ./sh_scripts/install.sh no diretório de instalação e selecione o modo CPU. O instalador escolhe aiserver-llm-server-cpu, verifica a versão e os checksums, carrega as imagens e configura a inicialização.
3. Se precisar importar manualmente uma imagem para diagnóstico, indique o nome exato do arquivo e verifique antes o checksum:

docker load --input aiserver-llm-server-cpu_2.5.1.tar.gz # exemplo para a versão 2.5.1

Na preparação manual, extraia os modelos com extract_models.sh e extract_vllm.sh. Depois configure .env e os certificados conforme o guia geral de instalação. Se usar install.sh, siga as instruções do assistente.

Configurar .env para o LLM em CPU#

O serviço aiserver liga-se ao LLM por meio de LLM_MODEL_API_BASE_URL, LLM_API_HOST e LLM_API_PORT. A API do contêiner aiserver-llm-server-cpu escuta na porta 8000 na rede Docker; docker-compose.yml publica a porta 3007 no host.

O instalador define LLM_API_HOST=aiserver-llm-server-cpu. Antes da inicialização, confira se os valores em .env são consistentes:

LLM_API_HOST=aiserver-llm-server-cpu
LLM_API_PORT=8000
LLM_MODEL_API_BASE_URL=http://aiserver-llm-server-cpu:8000

Iniciar com o perfil cpu#

No diretório de instalação, use o arquivo docker-compose.yml fornecido e ative explicitamente os perfis embed e cpu. Os perfis GPU (gpu, gpu2) não devem ser ativados em um servidor sem GPU.

Inicialização básica#

docker compose -f docker-compose.yml --profile embed --profile cpu up -d

Parar#

docker compose -f docker-compose.yml --profile embed --profile cpu down

Verificar os contêineres#

docker compose -f docker-compose.yml --profile embed --profile cpu ps

O contêiner aiserver-llm-server-cpu deve estar em estado Up.

Verificação opcional do LLM a partir do host#

O arquivo Compose publica a porta 8000 do contêiner como 3007 no host. É necessário verificar a lista de modelos ou o endpoint de integridade:

curl -sS "http://127.0.0.1:3007/v1/models" || curl -sS "http://127.0.0.1:3007/health"

Se necessário, consulte os logs: docker compose -f docker-compose.yml logs -f aiserver-llm-server-cpu.

Lista de verificação#

1. Baixe os arquivos da mesma versão de uma instalação normal, mas use aiserver-llm-server-cpu no lugar da imagem LLM para GPU.
2. Descompacte os arquivos do cliente, carregue as imagens e extraia os modelos.
3. É necessário configurar em .env LLM_MODEL_API_BASE_URL=http://aiserver-llm-server-cpu:8000 com LLM_API_HOST e LLM_API_PORT correspondentes.
4. É necessário iniciar com docker compose -f docker-compose.yml --profile embed --profile cpu up -d.
5. Não ative whisper, reranker ou full se o servidor não tiver GPU para esses serviços.

Em uma instalação somente CPU, as instruções de NVIDIA e Container Toolkit podem ser ignoradas se não houver contêineres GPU.