Sherpa AI Server

Sherpa AI Server – это веб-сервисное приложение, предназначенное для обучения, использования и дообучения больших языковых моделей (LLM) внутри закрытого контура корпораций. Sherpa AI Server объединяет в себе векторное хранилище документов, управление офлайн-моделями, поддержку разнообразных моделей искусственного интеллекта – с разным размером, с квантованием и без, их запуск на GPU или CPU, проектирование цепочек обработки данных, доступ через API, платформу роботизации и веб-интерфейс, и многое другое.

Sherpa AI Server – это Центр искусственного интеллекта, который содержит функционал:

· большие языковые модели (LLM) в закрытом контуре;

· веб-чат для сотрудников компании в стиле ChatGPT с историей и диалогами;

· поддержка русского языка;

· ответы на вопросы по собственным документам;

· встроенное векторное хранилище документов;

· API для любых приложений компании, совместимое с OpenAI;

· интеграция с Sherpa RPA - работа с LLM из сценариев роботов;

· безопасность, конфиденциальность, мониторинг, аудит;

· многопользовательский и многопоточный режим;

· выбор из более 300 доступных языковых моделей;

· работа с CPU / GPU и самыми современными методами квантования и батчинга нейросетей;

· возможность интеграции с любой отечественной RPA-платформой посредством API.

Sherpa AI Server обладает широким спектром возможностей и функциональности, которые позволяют применяться как:

· чат-бот для поддержки клиентов;

· чат-бот для поддержки внутренних пользователей;

· чат-бот для ответов по содержимому корпоративных документов и баз знаний;

· конструктор документов, генератор договоров, вакансий, отчётов, аналитических записок;

· робот-юрист, робот-продавец, робот-кадровик, робот-интервьювер, робот-документовед и т.д.;

· извлечение структурированных и неструктурированных данных из документов, в том числе, сканированных и их заведение в информационные системы;

· генерация контент-планов, блог-постов, статей, обзоров, комментариев, пресс-релизов, дайджестов, email-писем, рассылок, презентаций и т.д.;

· генерация кода, юнит-тестов, макросов, запросов, комментариев и документации к коду;

· семантический анализ и анализ тональности комментариев и отзывов клиентов;

· текстовый и голосовой BI (Business Intelligence) для корпоративных данных;

· массовое копирование правок документов, отслеживание и поддержка изменений нормативной документации.

Рекомендации к системным характеристикам компьютера

При развертывании Sherpa AI Server на GPU рекомендуется использовать компьютеры со следующими характеристиками:

Процессор

от 8 ядер

Оперативная память

от 32 Гб (рекомендуется удвоенное значение от объема доступной видеопамяти)

Место на диске

от 150 Гб

Операционная система

Docker-совместимый Linux, рекомендуется Ubuntu 22+, однако возможна установка и на других дистрибутивах

Программное обеспечение

Docker, Docker Compose, NVIDIA Docker Toolkit (nvidia-docker2) на хост-системе, чтобы обеспечить доступ контейнера к GPU хоста. Можно установить отдельно или в составе NVIDIA CUDA Toolkit

Объем видеопамяти

больше 24 Гб

Требования к видеокарте

Compute Capability не ниже 8.0

(уточнить для конкретной видеокарты можно по следующей ссылке:

https://developer.nvidia.com/cuda-gpus).

Совместимые модели видеокарт

Примечание: При наличии в контуре видеокарт уровня Tesla A100 рекомендуется использовать их. При отсутствии в контуре таких видеокарт рекомендуется собрать систему из альтернативных видеокарт - см. ниже.

NVIDIA Data Center Products

NVIDIA A100, NVIDIA L40, NVIDIA H100

NVIDIA RTX Desktop

RTX A6000, RTX 6000

NVIDIA RTX Mobile

RTX A100

Last updated