Sherpa AI Server
Sherpa AI Server – это веб-сервисное приложение, предназначенное для обучения, использования и дообучения больших языковых моделей (LLM) внутри закрытого контура корпораций. Sherpa AI Server объединяет в себе векторное хранилище документов, управление офлайн-моделями, поддержку разнообразных моделей искусственного интеллекта – с разным размером, с квантованием и без, их запуск на GPU или CPU, проектирование цепочек обработки данных, доступ через API, платформу роботизации и веб-интерфейс, и многое другое.
Sherpa AI Server – это Центр искусственного интеллекта, который содержит функционал:
· большие языковые модели (LLM) в закрытом контуре;
· веб-чат для сотрудников компании в стиле ChatGPT с историей и диалогами;
· поддержка русского языка;
· ответы на вопросы по собственным документам;
· встроенное векторное хранилище документов;
· API для любых приложений компании, совместимое с OpenAI;
· интеграция с Sherpa RPA - работа с LLM из сценариев роботов;
· безопасность, конфиденциальность, мониторинг, аудит;
· многопользовательский и многопоточный режим;
· выбор из более 300 доступных языковых моделей;
· работа с CPU / GPU и самыми современными методами квантования и батчинга нейросетей;
· возможность интеграции с любой отечественной RPA-платформой посредством API.
Sherpa AI Server обладает широким спектром возможностей и функциональности, которые позволяют применяться как:
· чат-бот для поддержки клиентов;
· чат-бот для поддержки внутренних пользователей;
· чат-бот для ответов по содержимому корпоративных документов и баз знаний;
· конструктор документов, генератор договоров, вакансий, отчётов, аналитических записок;
· робот-юрист, робот-продавец, робот-кадровик, робот-интервьювер, робот-документовед и т.д.;
· извлечение структурированных и неструктурированных данных из документов, в том числе, сканированных и их заведение в информационные системы;
· генерация контент-планов, блог-постов, статей, обзоров, комментариев, пресс-релизов, дайджестов, email-писем, рассылок, презентаций и т.д.;
· генерация кода, юнит-тестов, макросов, запросов, комментариев и документации к коду;
· семантический анализ и анализ тональности комментариев и отзывов клиентов;
· текстовый и голосовой BI (Business Intelligence) для корпоративных данных;
· массовое копирование правок документов, отслеживание и поддержка изменений нормативной документации.
Рекомендации к системным характеристикам компьютера
При развертывании Sherpa AI Server на GPU рекомендуется использовать компьютеры со следующими характеристиками:
Процессор
от 8 ядер
Оперативная память
от 32 Гб (рекомендуется удвоенное значение от объема доступной видеопамяти)
Место на диске
от 150 Гб
Операционная система
Docker-совместимый Linux, рекомендуется Ubuntu 22+, однако возможна установка и на других дистрибутивах
Программное обеспечение
Docker, Docker Compose, NVIDIA Docker Toolkit (nvidia-docker2) на хост-системе, чтобы обеспечить доступ контейнера к GPU хоста. Можно установить отдельно или в составе NVIDIA CUDA Toolkit
Объем видеопамяти
больше 24 Гб
Требования к видеокарте
Compute Capability не ниже 8.0
(уточнить для конкретной видеокарты можно по следующей ссылке:
https://developer.nvidia.com/cuda-gpus).
Совместимые модели видеокарт
Примечание: При наличии в контуре видеокарт уровня Tesla A100 рекомендуется использовать их. При отсутствии в контуре таких видеокарт рекомендуется собрать систему из альтернативных видеокарт - см. ниже.
NVIDIA Data Center Products
NVIDIA A100, NVIDIA L40, NVIDIA H100
NVIDIA RTX Desktop
RTX A6000, RTX 6000
NVIDIA RTX Mobile
RTX A100
Last updated