Модели
Экран "Модели", разделенный на "Модели" и "Экземпляры моделей", предоставляет возможность подключения дополнительной модели к Sherpa AI Server при наличии соответствующих аппаратных ресурсов.
Пользователи могут выбрать между локальной моделью или облачной, при условии наличия необходимых токенов для доступа. Также возможна интеграция модели, размещенной на сторонних серверах внутри локальной сети, но не на том же сервере, где расположен Sherpa AI Server.
В нашей системе реализован алгоритм, который проверяет доступность моделей и отвечает первой доступной из них. Однако, если требуется использовать именно одну конкретную модель, мы можем просто создать в соответствующей группе один экземпляр этой модели, и она будет работать с ней постоянно.
Стоит отметить, что благодаря функционалу группировки мы на самом деле группируем не сами модели, а их бэкенды, что обеспечивает масштабируемость и отказоустойчивость системы. Внутри группы не запрещается размещать несколько бэкендов с разными моделями.
Раздел "Модели" позволяет создавать и редактировать группы моделей.
Раздел "Экземпляры моделей" позволяет создавать различные ссылки на модели. Для каждой модели можно настроить отдельные подключения, каждое со своими индивидуальными параметрами и настройками.
№ п/п
Элемент интерфейса
Описание
Таблица "Модели"
1.
кнопка "Создать"
Позволяет создавать новые группы моделей.
2.
кнопка "Обновить"
Позволяет принудительно обновить таблицу "Модели".
3.
кнопка "Удалить выбранное"
Позволяет удалить выбранные группы моделей из Sherpa AI Server. Также удалить отдельные группы моделей можно, нажав на кнопку в нужной строке таблицы Модели. При удалении группы моделей появляется окно для подтверждения удаления.
4.
кнопка "Экспорт в CSV"
Формирует файл данных групп моделей в формате CSV (Comma-Separated Values) для импорта в электронные таблицы и системы учета.
5.
кнопка "Экспорт в XLSX"
Формирует файл данных групп моделей в формате Microsoft Excel (XLSX) для импорта в электронные таблицы и системы учета.
Таблица "Экземпляры моделей"
1.
кнопка "Создать"
Позволяет создавать экземпляры моделей.
2.
кнопка "Обновить"
Позволяет принудительно обновить таблицу "Экземпляры моделей".
3.
кнопка "Удалить выбранное"
Позволяет удалить выбранные экземпляры моделей из Sherpa AI Server. Также удалить отдельные экземпляры моделей можно, нажав на кнопку в нужной строке таблицы "Правила". При удалении экземпляров моделей появляется окно для подтверждения удаления.
4.
кнопка "Экспорт в CSV"
Формирует файл данных экземпляров моделей в формате CSV для импорта в электронные таблицы и системы учета.
5.
кнопка "Экспорт в XLSX"
Формирует файл данных экземпляров моделей в формате Microsoft Excel (XLSX) для импорта в электронные таблицы и системы учета.
Выбор Модели на других экранах Sherpa AI Server
Чат
Раздел "Модели" позволяет просматривать и редактировать группы моделей, которые в дальнейшем Пользователь сможет выбирать при создании нового диалога в Sherpa AI Server.
Ассистенты
Раздел "Модели" позволяет просматривать и редактировать группы моделей, которые в дальнейшем Пользователь сможет выбирать при создании Ассистента.
Создать модель
Для создания новой группы моделей необходимо нажать на кнопку "Создать" в таблице "Модели" и заполнить открывшуюся форму.
Создать экземляр
Для создания нового экземпляра модели необходимо нажать на кнопку "Создать" в таблице "Экземпляров модели" и заполнить открывшуюся форму.
Поля для заполнения во всплывающем окне "Создать экземпляр":
"Имя *" – обязательное для заполнения поле для названия экземпляра модели;
"Описание" – поле для ввода описания экземпляра модели;
"Хост *" – обязательное для заполнения поле для указания IP-адреса или доменного имени сервера, на котором размещен экземпляр модели;
"Порт *" – обязательное для заполнения поле для указания номера порта сервиса экземпляра модели;
"Протокол *" – обязательное для заполнения поле для выбора протокола подключения;
"Таймаут *" – обязательное для заполнения поле для установки максимального времени ожидания ответа от экземпляра модели (в секундах).
Также есть возможность создавать подключения к облачным моделям (выбор чекбокса "Облачная" в окне "Создать экземпляр"). Для этого предусмотрены специальные настройки, включающие прокси-сервера и дополнительные токены доступа. В случае локальных моделей настройка включает указание хоста, порта и протокола. При этом протокол остается нашим стандартным, аналогичным формату OpenAI, обеспечивая единообразие и совместимость в работе с различными моделями.
Дополнительные поля для заполнения во всплывающем окне "Создать модели" (при выборе чекбокса "Облачная" в окне "Создать экземпляр"):
"Провайдер *" – поле для выбора поставщика модели;
"Модель провайдера" – поле для указания конкретной модели от выбранного провайдера;
"Token / API Key *" – поле для ввода API-ключа или токена авторизации провайдера;
"Логин" – поле для ввода имени пользователя (при использовании базовой аутентификации);
"Пароль" – поле для ввода пароля (при использовании базовой аутентификации).
Это специальный контейнер, предназначенный для запуска одной модели. По сути, он является универсальной платформой, в которой может быть запущена любая модель, но только одна за раз. Для использования нескольких моделей достаточно запустить несколько таких контейнеров, каждый со своей настройкой. При этом в каждом контейнере потребуется изменить порт, по которому осуществляется доступ к модели. Такой подход позволяет эффективно использовать один сервер, запуская в нем любое количество моделей (ограничение лишь зависит от аппаратных ресурсов).
Редактировать модель
Для просмотра и редактирования свойств группы моделей необходимо выбрать нужную группу в списке и нажать на кнопку 
. После этого откроется форма с настройками модели, в которую можно внести необходимые изменения. Новых полей в ранее созданной модели нет.
Редактировать экземляр
Для просмотра и редактирования свойств экземпляра модели необходимо выбрать нужный экземпляр в списке и нажать на кнопку . После этого откроется форма с настройками экземпляра модели, в которую можно внести необходимые изменения. Новых полей в ранее созданном экземпляре модели нет.
Last updated