Modelos#
La pantalla Modelos está destinada a la gestión de Modelos y Ejemplares de modelos disponibles en Sherpa AI Server.
.png)
Los usuarios pueden elegir entre un Modelo local o en la nube, si tienen los tokens necesarios para el acceso. También es posible integrar un Modelo alojado en servidores externos dentro de la red local (pero no en el mismo servidor donde se encuentra Sherpa AI Server).
| № p/p | Elemento de interfaz | Descripción |
|---|---|---|
| 1. | bloque "Modelos" | Área superior de la pantalla donde se muestra la lista de Modelos registrados en el sistema. |
| 1.1. | botón "Crear" | Abre el formulario para crear un nuevo Modelo. |
| 1.2. | botón "Actualizar" | Actualiza la lista de Modelos. |
| 1.3. | botón "Eliminar seleccionado" | Permite eliminar los Modelos seleccionados. |
| 1.4. | botón "Exportar a CSV" | Exporta la lista de Modelos a un archivo en formato CSV. |
| 1.5. | botón "Exportar a XLSX" | Exporta la lista de Modelos a un archivo en formato XLSX. |
| 1.6. | checkbox de selección de modelo ![]() | Permite seleccionar uno o varios Modelos para realizar acciones grupales. |
| 1.7. | columna "Nombre" | Muestra el nombre del Modelo. |
| 1.8. | columna "Descripción" | Muestra la descripción del Modelo, si está especificada. |
| 1.9. | columna "Tipo de modelo" | Define para qué tipo de tareas está destinado el Modelo. Opciones posibles:
|
| 1.10. | columna "Destinos" | Muestra en qué escenarios del sistema puede utilizarse el Modelo.
|
| 1.11. | columna "Parámetro de generación" | Perfil de configuración de generación de respuesta seleccionado.
|
| 1.12. | columna "Carpeta de acceso" | Muestra la Carpeta de acceso a la que pertenece el Modelo. |
| 1.13. | columna "Creado" | Muestra la fecha y hora de creación del Modelo. |
| 1.14. | columna "Modificado" | Muestra la fecha y hora de la última modificación del Modelo. |
| 1.15. | botón de edición ![]() | Permite abrir el Modelo seleccionado para modificar parámetros. |
| 1.16. | botón de eliminación ![]() | Permite eliminar un Modelo específico. |
| 2. | bloque "Ejemplares de modelos" | Área inferior de la pantalla donde se muestran los ejemplares del Modelo seleccionado. |
| 2.1. | checkbox de selección de ejemplar ![]() | Permite seleccionar uno o varios Ejemplares de modelos para realizar acciones grupales. |
| 2.1. | botón "Crear" | Abre el formulario para crear un nuevo Ejemplar de modelo. |
| 2.2. | botón "Actualizar" | Actualiza la lista de Ejemplares de modelos. |
| 2.3. | botón "Eliminar seleccionado" | Permite eliminar los Ejemplares de modelos seleccionados.
|
| 2.4. | botón "Exportar a CSV" | Exporta la lista de Ejemplares de modelos a un archivo en formato CSV. El botón está inactivo si no se seleccionan ejemplares. |
| 2.5. | botón "Exportar a XLSX" | Exporta la lista de Ejemplares de modelos a un archivo en formato XLSX. El botón está inactivo si no se seleccionan ejemplares. |
| 2.6. | columna "Nombre" | Muestra el nombre del Ejemplar de modelo. |
| 2.7. | columna "Tipo" | Muestra el tipo de Ejemplar de modelo, por ejemplo local. |
| 2.8. | columna "Ubicación" | Muestra la dirección o ubicación del Ejemplar de modelo, por ejemplo aiserver-llm-server:8000. |
| 2.9. | columna "Creado" | Muestra la fecha y hora de creación del Ejemplar de modelo. |
| 2.10. | columna "Modificado" | Muestra la fecha y hora de la última modificación del Ejemplar de modelo. |
| 2.12. | botón de edición ![]() | Permite abrir el Ejemplar de modelo seleccionado para modificar parámetros. |
| 2.13. | botón de eliminación ![]() | Permite eliminar un Ejemplar de modelo específico. |
| 3. | ![]() | Permite especificar cuántos registros se mostrarán en la tabla en una página. |
| 4. | ![]() | Muestra el rango de registros que se muestran en la página actual y el número total de registros en la tabla. |
| 5. | ![]() | Permite navegar entre las páginas de la tabla:
|
Selección de Modelo en otras pantallas de Sherpa AI Server#
Chat#
El campo "Modelo" en la ventana "Configuración de chat por defecto" permite seleccionar el Modelo que se utilizará por defecto para procesar mensajes en el Chat. El Modelo seleccionado determina cómo Sherpa AI Server generará respuestas al Usuario, ejecutará instrucciones del mensaje del sistema y trabajará en el modo especificado.
.png)
Asistentes#
El campo "Modelo" en la ventana "Editar asistente" permite seleccionar el Modelo que utilizará el Asistente para generar respuestas al Usuario. Este campo es obligatorio y se aplica cuando en el bloque "Fuente de respuesta a la pregunta del usuario" se selecciona la opción "Responde el modelo".

Crear Modelo#
La ventana emergente "Crear modelo" se abre después de hacer clic en el botón "Crear" sobre la tabla "Modelos" y está destinada a agregar un nuevo Modelo en Sherpa AI Server.
.png)
| № p/p | Elemento de interfaz | Descripción |
| 1. | sección "Principales" | Contiene los parámetros básicos del Modelo que se está creando. |
| 1.2. | campo "Nombre" | Campo obligatorio para ingresar el nombre del Modelo. |
| 1.3. | campo "Descripción" | Destinado a ingresar una breve descripción del Modelo. |
| 1.4. | campo "Tipo de modelo" | Campo desplegable obligatorio, en el que se selecciona la finalidad del Modelo que se está creando. El tipo seleccionado determina para qué tareas se utilizará el modelo en Sherpa AI Server:
|
| 1.5. | campo "Longitud del contexto (tokens)" | Permite especificar la longitud máxima del contexto del Modelo en tokens. Si se deja el campo vacío, se utilizará la configuración global LLM_MAX_MODEL_LEN. |
| 1.6. | campo "Carpetas de objetos" | Permite seleccionar las Carpetas de objetos para las que el Modelo estará disponible. |
| 1.7. | bloque "Por defecto" | Permite marcar para qué tareas se utilizará el Modelo por defecto:
Algunas opciones pueden estar inactivas, ya que no están disponibles para el tipo de Modelo seleccionado o la configuración actual. |
| 2. | sección "Parámetros de generación (sampling)" | Contiene configuraciones para la generación de respuestas del Modelo. Estos parámetros afectan el estilo, la variabilidad, la longitud y la estabilidad de las respuestas. |
| 2.1. | botón "Parámetros avanzados de generación" | Despliega u oculta la configuración detallada de generación. |
| 2.2. | campo "Preset" | Permite seleccionar un conjunto predefinido de parámetros de generación.
|
| 2.3. | campo "Temperature" | Define la aleatoriedad de la respuesta. Cuanto mayor sea el valor, más diversas y creativas serán las respuestas; cuanto menor sea el valor, más estables y predecibles serán. |
| 2.4. | campo "Top-p (nucleus)" | Limita la selección de tokens a las opciones más probables, hasta que su probabilidad total alcance el umbral establecido. Un valor más bajo hace que las respuestas sean más estrictas, un valor más alto las hace más libres. |
| 2.5. | campo "Top-k" | Limita la selección del siguiente token a un número determinado de los tokens más probables. Un valor 0 desactiva esta limitación. |
| 2.6. | campo "Min-p" | Filtra los tokens con baja probabilidad en relación con el mejor token. Un valor 0 desactiva el parámetro. |
| 2.7. | campo "Presence penalty" | Agrega una penalización por tokens que ya han aparecido y reduce la probabilidad de repetir temas o frases. |
| 2.8. | campo "Repetition penalty" | Penaliza adicionalmente la repetición de texto ya generado. Un valor 1.0 significa que no hay aumento de la penalización; valores superiores a 1 reducen más las repeticiones. |
| 2.9. | campo "Max tokens de respuesta" | Permite especificar la longitud máxima de una respuesta del Modelo. Si se deja el campo vacío, se utiliza el valor de la configuración global del sistema. |
| 3. | sección "Modo avanzado" | Contiene configuraciones adicionales del modelo, destinadas a una configuración más precisa de la plantilla de chat y los parámetros de transmisión de datos al Modelo. |
| 3.1. | botón "Parámetros de plantilla JSON" | Despliega u oculta el bloque de configuración de parámetros de la plantilla de chat en formato JSON. |
| 3.2. | bloque "Parámetros de plantilla de chat (JSON)" | Contiene un campo para ingresar parámetros adicionales de la plantilla de chat en formato JSON. |
| 3.3. | campo "Chat template kwargs (JSON)" | Destinado a ingresar un objeto JSON de argumentos adicionales chat_template_kwargs, que se utilizan al formar solicitudes al Modelo.Una pista debajo del campo explica que el objeto JSON ingresado se envía a chat/completions como chat_template_kwargs, se combina con la configuración LLM_CHAT_TEMPLATE_KWARGS de .env, y las claves no deben superponerse. |
| 4. | botón "Cancelar" | Cierra la ventana sin crear el Modelo y sin guardar los datos ingresados. |
| 5. | botón "OK" | Crea el Modelo con los parámetros especificados.
|
Crear Ejemplar del modelo#
La ventana emergente "Crear ejemplar" está destinada a agregar un nuevo Ejemplar del modelo en Sherpa AI Server.

| N° | Elemento de interfaz | Descripción |
| 1. | campo "Nombre" | Campo obligatorio para ingresar el nombre de la instancia que se está creando. |
| 2. | campo "Descripción" | Destinado a ingresar una breve descripción de la instancia del modelo. |
| 3. | interruptor "Local / Nube" | Permite seleccionar el tipo de alojamiento de la instancia del modelo: local o en la nube. |
| 4. | campo "Ruta al modelo" | Destinado a especificar la ruta al modelo, que se enviará en las solicitudes del protocolo OpenAI en el parámetro model. La sugerencia proporciona un ejemplo de ruta: /model-store/meta-llama/Meta-Llama-3-8B-Instruct. |
| 5. | campo "Timeout" | Campo obligatorio para especificar el tiempo de espera de conexión en segundos. |
| 6. | sección "Conexión" | Contiene los parámetros de conexión a la instancia del modelo. |
| 6.1. | campo "Tipo de conexión" | Campo desplegable obligatorio para seleccionar el método de conexión. |
| 6.2. | campo "Host" | Campo obligatorio para especificar la dirección del servidor local donde está disponible la instancia del modelo. |
| 6.3. | campo "Puerto" | Campo obligatorio para especificar el puerto por el cual está disponible el servidor local de la instancia del modelo. |
| 6.4. | campo "Esquema" | Campo desplegable para seleccionar el esquema de conexión al servidor. |
| 6.5. | campo "Subruta" | Destinado a especificar el prefijo de la ruta al protocolo OpenAI. La sugerencia aclara que, por ejemplo, para la ruta |
| 6.6. | campo "Protocolo" | Campo desplegable obligatorio para seleccionar el protocolo de interacción con la instancia del modelo. |
| 7. | sección "Autorización" | Contiene los parámetros de autorización al conectarse a la instancia del modelo. |
| 7.1. | campo "Tipo de autorización" | Campo desplegable obligatorio para seleccionar el método de autorización. |
| 7.2. | botón "Verificar conexión" | Permite verificar la disponibilidad de la instancia del modelo y la corrección de los parámetros de conexión especificados. |
| 8. | botón "Cancelar" | Cierra la ventana sin crear la instancia y sin guardar los datos ingresados. |
| 9. | botón "OK" | Crea la instancia del modelo con los parámetros especificados. El botón está inactivo si los campos obligatorios no están completamente llenos. |
Editar Modelo#
Para ver/editar las propiedades del grupo de Modelos, es necesario seleccionar el grupo deseado en la lista y presionar el botón
. Después de esto, se abrirá un formulario con la configuración del Modelo, en el que se pueden realizar los cambios necesarios. No hay nuevos campos en el Modelo creado anteriormente.
.png)
Editar Instancia del modelo#
Para ver/editar las propiedades de la Instancia del modelo, es necesario seleccionar la instancia deseada en la lista y presionar el botón
. Después de esto, se abrirá un formulario con la configuración de la Instancia del modelo, en el que se pueden realizar los cambios necesarios. No hay nuevos campos en la Instancia del modelo creada anteriormente.
.png)
Si el agente informa sobre un exceso de contexto#
El contexto incluye el historial de chat, fragmentos de documentos y descripciones de herramientas. Parte de la ventana del modelo se reserva para la respuesta. Por lo tanto, una pregunta corta puede acompañarse de una gran solicitud.
En las compilaciones con corrección de conteo preciso, el agente aclara el tamaño de la gran solicitud al tokenizador del modelo local antes de reducir el contexto o rechazar. Si el tokenizador no está disponible, se utiliza una estimación aproximada cautelosa.
Si el error se repite, intente un nuevo hilo con una pregunta corta y un pequeño documento. Para una solicitud realmente grande, reduzca los datos de entrada o elija un modelo con una ventana más grande. Si el error ocurre de inmediato en un nuevo hilo, informe al administrador el tiempo, la versión del servidor, el modelo seleccionado, el modo y el identificador del hilo. El administrador verifica la disponibilidad del tokenizador y el tamaño real de la solicitud, incluidas las herramientas.
El campo "Longitud del contexto (tokens)" debe corresponder a las capacidades de la instancia del modelo en funcionamiento. Aumentar este campo por sí solo no amplía la ventana del motor.
.png)
.png)
.png)

.png)
.png)
.png)
.png)
.png)