Модели#
Экран "Модели" предназначен для управления моделями и экземплярами моделей, доступными в Sherpa AI Server.
.png)
Пользователи могут выбрать между локальной моделью или облачной, при наличии необходимых токенов для доступа. Также возможна интеграция модели, размещенной на сторонних серверах внутри локальной сети (но не на том же сервере, где расположен Sherpa AI Server).
| № п/п | Элемент интерфейса | Описание |
|---|---|---|
| 1. | блок "Модели" | Верхняя область экрана, в которой отображается список моделей, зарегистрированных в системе. |
| 1.1. | кнопка "Создать" | Открывает форму создания новой модели. |
| 1.2. | кнопка "Обновить" | Обновляет список моделей. |
| 1.3. | кнопка "Удалить выбранное" | Позволяет удалить выбранные модели. |
| 1.4. | кнопка "Экспорт в CSV" | Выгружает список моделей в файл формата CSV. |
| 1.5. | кнопка "Экспорт в XLSX" | Выгружает список моделей в файл формата XLSX. |
| 1.6. | чекбокс выбора модели .png) | Позволяет выбрать одну или несколько моделей для выполнения групповых действий. |
| 1.7. | столбец "Имя" | Отображает название модели. |
| 1.8. | столбец "Описание" | Отображает описание модели, если оно указано. |
| 1.9. | столбец "Папка доступа" | Отображает папку доступа, к которой относится модель. |
| 1.10. | столбец "Создан" | Отображает дату и время создания модели. |
| 1.11. | столбец "Изменена" | Отображает дату и время последнего изменения модели. |
| 1.12. | кнопка редактирования .png) | Позволяет открыть выбранную модель для изменения параметров. |
| 1.13. | кнопка удаления .png) | Позволяет удалить конкретную модель. |
| 2. | блок "Экземпляры моделей" | Нижняя область экрана, в которой отображаются экземпляры выбранной модели. |
| 2.1. | чекбокс выбора экземпляра  | Позволяет выбрать один или несколько экземпляров моделей для выполнения групповых действий. |
| 2.1. | кнопка "Создать" | Открывает форму создания нового экземпляра модели. |
| 2.2. | кнопка "Обновить" | Обновляет список экземпляров моделей. |
| 2.3. | кнопка "Удалить выбранное" | Позволяет удалить выбранные экземпляры моделей. Кнопка неактивна, если экземпляры не выбраны. |
| 2.4. | кнопка "Экспорт в CSV" | Выгружает список экземпляров моделей в файл формата CSV. Кнопка неактивна, если экземпляры не выбраны. |
| 2.5. | кнопка "Экспорт в XLSX" | Выгружает список экземпляров моделей в файл формата XLSX. Кнопка неактивна, если экземпляры не выбраны. |
| 2.6. | столбец "Имя" | Отображает название экземпляра модели. |
| 2.7. | столбец "Тип" | Отображает тип экземпляра модели, например local. |
| 2.8. | столбец "Расположение" | Отображает адрес или расположение экземпляра модели, например aiserver-llm-server:8000. |
| 2.9. | столбец "Создан" | Отображает дату и время создания экземпляра модели. |
| 2.10. | столбец "Изменена" | Отображает дату и время последнего изменения экземпляра модели. |
| 2.12. | кнопка редактирования .png) | Позволяет открыть выбранный экземпляр модели для изменения параметров. |
| 2.13. | кнопка удаления .png) | Позволяет удалить конкретный экземпляр модели. |
| 3. | .png) | Позволяет указать, сколько записей будет отображаться в таблице на одной странице. |
| 4. | .png) | Показывает диапазон записей, отображаемых на текущей странице, и общее количество записей в таблице. |
| 5. | .png) | Позволяет переходить между страницами таблицы: к первой странице, на предыдущую страницу, на следующую страницу или к последней странице. |
Выбор Модели на других экранах Sherpa AI Server#
Чат#
Поле "Модель" в окне "Настройки чата по умолчанию" позволяет выбрать модель, которая будет использоваться по умолчанию для обработки сообщений в чате. Выбранная модель определяет, какой AI Server будет формировать ответы пользователю, выполнять инструкции из системного сообщения и работать в заданном режиме чат.
.png)
Ассистенты#
Поле "Модель" в окне "Редактировать ассистента" позволяет выбрать модель, которая будет использоваться ассистентом для формирования ответов пользователю. Поле является обязательным и применяется, когда в блоке "Источник ответа на вопрос пользователя" выбран вариант "Отвечает модель".
Создать модель#
Всплывающее окно "Создать модель" открывается после нажатия кнопки "Создать" над таблицей "Модели" и предназначено для добавления новой модели в Sherpa AI Server.
| № п/п | Элемент интерфейса | Описание |
|---|---|---|
| 1. | раздел "Основные" | Содержит базовые параметры создаваемой модели. |
| 1.2. | поле "Имя" | Обязательное поле для ввода названия модели. |
| 1.3. | поле "Описание" | Предназначено для ввода краткого описания модели. |
| 1.4. | поле "Тип модели" | Обязательное выпадающее поле, в котором выбирается назначение создаваемой модели. От выбранного типа зависит, для каких задач модель будет использоваться в Sherpa AI Server:
|
| 1.5. | поле "Длина контекста (токены)" | Позволяет указать максимальную длину контекста модели в токенах. Если оставить поле пустым, будет использоваться глобальная настройка LLM_MAX_MODEL_LEN. |
| 1.6. | поле "Папки объектов" | Позволяет выбрать папки объектов, к которым будет привязана модель или для которых она будет доступна. |
| 2. | раздел "Параметры генерации (sampling)" | Содержит настройки генерации ответа моделью. Эти параметры влияют на стиль, вариативность, длину и устойчивость ответов. |
| 2.1. | кнопка "Расширенные параметры генерации" | Разворачивает или скрывает детальные настройки генерации. |
| 2.2. | поле "Пресет" | Позволяет выбрать готовый набор параметров генерации. Смена пресета автоматически устанавливает рекомендованные значения параметров генерации. |
| 2.3. | поле "Temperature" | Определяет случайность ответа. Чем выше значение, тем более разнообразными и креативными могут быть ответы; чем ниже значение, тем более стабильными и предсказуемыми они будут. |
| 2.4. | поле "Top-p (nucleus)" | Ограничивает выбор токенов наиболее вероятными вариантами, пока их суммарная вероятность не достигнет заданного порога. Значение ниже делает ответы более строгими, выше — более свободными. |
| 2.5. | поле "Top-k" | Ограничивает выбор следующего токена заданным количеством наиболее вероятных токенов. Значение 0 отключает это ограничение. |
| 2.6. | поле "Min-p" | Отсекает токены с низкой вероятностью относительно лучшего токена. Значение 0 отключает параметр. |
| 2.7. | поле "Presence penalty" | Добавляет штраф за уже встречавшиеся токены и снижает вероятность повторения тем или фраз. |
| 2.8. | поле "Repetition penalty" | Дополнительно штрафует повторение уже сгенерированного текста. Значение 1.0 означает отсутствие усиления штрафа; значения выше 1 сильнее уменьшают повторы. |
| 2.9. | поле "Max tokens ответа" | Позволяет указать максимальную длину одного ответа модели. Если поле оставить пустым, используется значение из глобальных настроек системы. |
| 3. | раздел "Расширенный режим" | Содержит дополнительные настройки модели, предназначенные для более точной конфигурации шаблона чата и параметров передачи данных в модель. |
| 3.1. | кнопка "Параметры шаблона JSON" | Разворачивает или скрывает блок настройки параметров chat template в формате JSON. |
| 3.2. | блок "Параметры chat template (JSON)" | Содержит поле для ввода дополнительных параметров шаблона чата в формате JSON. |
| 3.3. | поле "Chat template kwargs (JSON)" | Предназначено для ввода JSON-объекта дополнительных аргументов chat_template_kwargs, которые используются при формировании запросов к модели.Подсказка под полем поясняет, что введенный JSON-объект передается в chat/completions как chat_template_kwargs, объединяется с настройкой LLM_CHAT_TEMPLATE_KWARGS из .env, а ключи не должны пересекаться. |
| 4. | кнопка "Отмена" | Закрывает окно без создания модели и без сохранения введенных данных. |
| 5. | кнопка "ОК" | Создает модель с указанными параметрами. Если кнопка неактивна, то обязательные поля заполнены не полностью. |
Создать экземляр модели#
Всплывающее окно "Создать экземпляр" предназначено для добавления нового экземпляра модели в Sherpa AI Server.
| № п/п | Элемент интерфейса | Описание |
|---|---|---|
| 1. | поле "Имя" | Обязательное поле для ввода имени создаваемого экземпляра. |
| 2. | поле "Описание" | Предназначено для ввода краткого описания экземпляра модели. |
| 3. | переключатель "Локальная / Облачная" | Позволяет выбрать тип размещения экземпляра модели: локальный или облачный. |
| 4. | поле "Путь к модели" | Предназначено для указания пути к модели, который будет передаваться в запросах протокола OpenAI в параметре model. Подсказка приводит пример пути: /model-store/meta-llama/Meta-Llama-3-8B-Instruct. |
| 5. | поле "Таймаут" | Обязательное поле для указания таймаута подключения в секундах. |
| 6. | раздел "Подключение" | Содержит параметры подключения к экземпляру модели. |
| 6.1. | поле "Тип подключения" | Обязательное выпадающее поле для выбора способа подключения. |
| 6.2. | поле "Хост" | Обязательное поле для указания адреса локального сервера, на котором доступен экземпляр модели. |
| 6.3. | поле "Порт" | Обязательное поле для указания порта, по которому доступен локальный сервер экземпляра модели. |
| 6.4. | поле "Схема" | Выпадающее поле для выбора схемы подключения к серверу. |
| 6.5. | поле "Подпуть" | Предназначено для указания префикса пути к протоколу OpenAI. Подсказка поясняет, что, например, для маршрута |
| 6.6. | поле "Протокол" | Обязательное выпадающее поле для выбора протокола взаимодействия с экземпляром модели. |
| 7. | раздел "Авторизация" | Содержит параметры авторизации при подключении к экземпляру модели. |
| 7.1. | поле "Тип авторизации" | Обязательное выпадающее поле для выбора способа авторизации. |
| 7.2. | кнопка "Проверить подключение" | Позволяет проверить доступность экземпляра модели и корректность указанных параметров подключения. |
| 8. | кнопка "Отмена" | Закрывает окно без создания экземпляра и без сохранения введенных данных. |
| 9. | кнопка "ОК" | Создает экземпляр модели с указанными параметрами. Кнопка неактивна, если обязательные поля заполнены не полностью. |
Редактировать модель#
Для просмотра и редактирования свойств группы моделей необходимо выбрать нужную группу в списке и нажать на кнопку .png)
. После этого откроется форма с настройками модели, в которую можно внести необходимые изменения. Новых полей в ранее созданной модели нет.
.png)
Редактировать экземляр модели#
Для просмотра и редактирования свойств экземпляра модели необходимо выбрать нужный экземпляр в списке и нажать на кнопку .png)
. После этого откроется форма с настройками экземпляра модели, в которую можно внести необходимые изменения. Новых полей в ранее созданном экземпляре модели нет.
.png)