Модели

Экран "Модели", разделенный на "Модели" и "Экземпляры моделей", предоставляет возможность подключения дополнительной модели к AI Server при наличии соответствующих аппаратных ресурсов.

Пользователи могут выбрать между локальной моделью или облачной, при условии наличия необходимых токенов для доступа. Также возможна интеграция модели, размещенной на сторонних серверах внутри локальной сети, но не на том же сервере, где расположен AI Server.

Раздел "Модели" позволяет просматривать и редактировать группы моделей, которые в дальнейшем Пользователь сможет выбирать при создании нового диалога в AI Server:

Также при создании ассистента:

В нашей системе реализован алгоритм, который проверяет доступность моделей и отвечает первой доступной из них. Однако, если требуется использовать именно одну конкретную модель, мы можем просто создать в соответствующей группе один экземпляр этой модели, и она будет работать с ней постоянно.

Стоит отметить, что благодаря функционалу группировки мы на самом деле группируем не сами модели, а их бэкенды, что обеспечивает масштабируемость и отказоустойчивость системы. Внутри группы не запрещается размещать несколько бэкендов с разными моделями.

Раздел "Экземпляры моделей" позволяет создавать различные ссылки на модели. Для каждой модели можно настроить отдельные подключения, каждое со своими индивидуальными параметрами и настройками.

Для создания новой группы моделей необходимо нажать на кнопку “Создать” в таблице “Модели” и заполнить открывшуюся форму.

Для создания нового экземпляра модели необходимо нажать на кнопку “Создать” в таблице “Экземпляров модели” и заполнить открывшуюся форму.

Также возможно создавать подключения к облачным моделям. Для этого предусмотрены специальные настройки, включающие прокси-сервера и дополнительные токены доступа. В случае локальных моделей настройка включает указание хоста, порта и протокола. При этом протокол остается нашим стандартным — аналогичным формату OpenAI, обеспечивая единообразие и совместимость в работе с различными моделями.

Это специальный контейнер, предназначенный для запуска одной модели. По сути, он является универсальной платформой, в которой может быть запущена любая модель, но только одна за раз. Для использования нескольких моделей достаточно запустить несколько таких контейнеров, каждый со своей настройкой. При этом в каждом контейнере потребуется изменить порт, по которому осуществляется доступ к модели. Такой подход позволяет эффективно использовать один сервер, запуская в нем любое количество моделей — ограничение лишь зависит от аппаратных ресурсов.

Для просмотра и редактирования свойств группы моделей необходимо выбрать нужную группу в списке и нажать на кнопку . После этого откроется форма с настройками модели, в которую можно внести необходимые изменения. Новых полей в ранее созданной модели нет.

Для просмотра и редактирования свойств экземпляра модели необходимо выбрать нужный экземпляр в списке и нажать на кнопку . После этого откроется форма с настройками экземпляра модели, в которую можно внести необходимые изменения. Новых полей в ранее созданном экземпляре модели нет.