Документы#

Для работы с Документами требуется право Роли на чтение Документов и доступ к выбранным файлам. Создание, изменение и удаление требуют соответствующих прав. Колонка "Папка объектов" доступна при праве чтения Папок объектов.

Экран Документы позволяет загружать в хранилище документов Sherpa AI Server собственные файлы и организовывать их в папки.

В данном хранилище предусмотрена многоуровневая структура папок, каждая папка может иметь неограниченное количество вложений (как подпапок, так и файлов).

Ниже описаны элементы основного экрана Документы при настройках внешнего вида интерфейса по умолчанию. Метки и метаинформация в списке скрыты. Условия их отображения приведены далее. Доступность действий зависит от прав Пользователя.

№ п/п	Элемент интерфейса	Описание
1.	режим "Таблица"	Режим отображения документов в виде строк таблицы.
2.	режим "Плитки"	Режим отображения документов в виде компактных карточек.
3.	режим "Крупные плитки"	Режим отображения документов в виде увеличенных карточек.
4.	кнопка "Создать папку"	Позволяет создать новую папку для хранения документов.
5.	кнопка "Загрузить файлы"	Позволяет загрузить файлы в выбранную папку.
6.	кнопка "Скачать файлы"	Позволяет скачать выбранные файлы.
7.	кнопка "Удалить выбранное"	Удаляет выбранные файлы и папки после подтверждения. Для удаления одной папки или файла можно нажать на кнопку в его строке и подтвердить действие.
8.	кнопка "Обновить"	Позволяет принудительно обновить таблицу на экране Документы.
9.	кнопка "Обработка документов"	Открывает всплывающее окно "Настройки документов" для выбора параметров распознавания изображений в PDF и индексации.
10.	поле "Поиск по документам"	Позволяет искать файлы по названию, описанию и содержимому, а папки — по названию. Для отбора по расширению можно использовать отдельный фильтр.
11.	выпадающий меню колонки "Теги"	Позволяет отфильтровать документы по тегам.
12.	переключатель правила сочетания в основной вкладке меню колонки "Теги"	Отображается на экране Документы при выборе двух или более тегов. "Любой из выбранных" находит файлы хотя бы с одним выбранным тегом и используется по умолчанию. "Все выбранные" находит файлы со всеми выбранными тегами.
13.	поле "Расширение"	Позволяет отфильтровать документы по расширению файла.
14.	колонка "Имя"	Отображает название папки или файла. Для папок используется иконка папки.
14.1.	стрелка раскрытия папки	Позволяет раскрыть папку и посмотреть вложенные элементы.
14.2.	чекбокс выбора элемента	Позволяет выбрать папку или файл для выполнения групповых действий.
15.	колонка "Описание"	Отображает описание документа или папки, если оно указано.
16.	колонка "Расширение"	Показывает расширение файла.
17.	колонка "Теги"	Показывает теги, назначенные документу.
18.	колонка "Создан"	Отображает дату и время создания элемента.
19.	колонка "Изменена"	Отображает дату и время последнего изменения элемента.
20.	колонка "Размер"	Отображает размер файла. Для папок значение может не указываться.
21.	колонка "Статус"	Отображает текущий статус обработки или доступности документа. Возможные значения: "Ожидает обработки"; "В обработке"; "Готов"; "Ошибка" (причина отображается у файла); "Ожидает ручной индексации"; "Не индексируется".
22.	колонка "Папка объектов"	Отображает папку объектов, к которой относится документ или папка.
23.	кнопка "Просмотр"	Открывает просмотр файла поддерживаемого формата. Для папок не отображается.
24.	кнопка "Переиндексировать папку"	Запускает переиндексацию выбранной папки. Для файлов не отображается.
25.	кнопка редактирования	Позволяет изменить параметры выбранной папки или файла.
26.	кнопка удаления	Позволяет удалить выбранную папку или файл.

Почему найден документ#

Необходимо ввести запрос в поле "Поиск по документам". У найденного файла можно нажать на значок информации или можно навести на него указатель: подсказка объяснит, что совпало — имя файла, описание, расширение, имя папки, текст документа или смысл запроса. Если причин несколько, подсказка покажет их вместе. Численные оценки поиска не отображаются.

Подсказку можно открыть с клавиатуры, перейдя к значку информации, и нажатием на сенсорном экране. Чтобы посмотреть найденный документ, можно нажать на кнопку "Просмотр" в строке таблицы или на плитке. Когда поиск вернул фрагмент текста, предпросмотр подсветит его. Если фрагмента нет, документ откроется без подсветки.

Создать папку#

Для создания новой папки в таблице на экране Документы можно нажать на кнопку "Создать папку" и заполнить открывшуюся форму.

Форма содержит следующие элементы:

• "Имя" * — обязательное текстовое поле для ввода имени папки.
• "Анализатор папок" — выпадающий список анализаторов для автоматической обработки файлов в папке.
• "Описание" — текстовое поле для описания содержимого папки.
• "Папки объектов" — выбор папки для обработки папок и файлов в диалогах с Ассистентами.

Редактирование папки#

Для просмотра и редактирования свойств конкретной папки необходимо выбрать ее в списке и нажать на кнопку . После этого откроется всплывающее окно с настройками папки, в котором можно внести необходимые изменения. Помимо полей, заполняемых при создании папки, при редактировании в форме указан GUID (уникальный идентификатор, присвоенный папке после ее создания). Данное поле нельзя отредактировать.

Загрузить файлы#

Для загрузки одного или нескольких файлов в конкретную папку можно заполнить чекбокс в строке выбранной папки, затем нажать на кнопку "Загрузить файлы".

Во всплывающем окне выбора файлов можно выбрать нужные файлы и нажать на кнопку "Открыть".

При загрузке файлов на экране Документы появится всплывающее окно с прогрессом по загрузке каждого из загружаемых файлов.

После загрузки всех выбранных файлов можно нажать на кнопку "ОК".

При загрузке .pdf, .docx, .xlsx и .pptx содержимое должно соответствовать расширению. Если окно показывает ошибку проверки, необходимо проверить формат файла, затем необходимо переименовать его в соответствии с содержимым или необходимо загрузить корректный документ. Для архивов Office действует предел 256 МиБ после распаковки и 64 МиБ для основного XML-компонента. Если документ корректен, но превышает предел, необходимо уменьшить его. Остальные форматы пока не проходят эту проверку.

В процессе обработки такой файл будет иметь статус "В обработке", затем данные из обрабатываемого файла добавляются в хранилище, после чего статус поменяется на "Готов". Если индексация не выполнена (например, у скана нет текстового слоя и распознавание не настроено), появится статус "Ошибка" с причиной.

Просмотреть файл#

Чтобы открыть файл без скачивания, необходимо раскрыть нужную папку и можно нажать на кнопку просмотра (значок глаза) в строке файла. Кнопки действий находятся в последней колонке таблицы. Если таблица шире окна браузера, можно прокрутить ее вправо до этой колонки.

Файл откроется во всплывающем окне. Если кнопка неактивна, необходимо проверить, что у вашей Роли есть право на чтение документов и что формат файла входит в список поддерживаемых: DOCX, XLS, XLSX, PPTX, PDF, TXT, CSV, PNG, JPG, JPEG, GIF.

Для работы с клавиатуры можно перейти в колонку действий таблицы. Клавиши Tab и Shift+Tab переводят фокус между доступными кнопками. На кнопке просмотра можно нажать Enter или пробел, чтобы открыть файл. Неактивные кнопки пропускаются. После последней кнопки Tab продолжает переход по таблице.

Скачать файлы#

После выбора файлов с помощью чекбоксов в таблице документов кнопка "Скачать файлы" становится активной и может быть использована для скачивания выбранных файлов.

После нажатия на кнопку "Скачать файлы" система автоматически формирует и скачивает архив с выбранными файлами. В архив включаются только те документы, которые были отмечены чекбоксами в таблице документов.

Добавить тег к нескольким файлам#

Для добавления тега требуется право изменения Документов и доступ к выбранным файлам. Кнопка доступна, если ее отображение разрешено в настройках внешнего вида интерфейса.

Тег добавляется следующим образом:

1. На экране Документы необходимо выбрать нужные файлы чекбоксами. На компьютере в режиме плиток при выборе нескольких файлов нужно удерживать Ctrl, а на macOS — Command. На экране шириной до 768 px можно касаться нужных плиток по очереди. Если в группе выбрана папка, действие недоступно.

2. Необходимо нажать на кнопку "Добавить тег к выбранным". Откроется одноименное всплывающее окно.

   

   

3. В поле "Выберите тег" необходимо выбрать существующий тег и нажать на кнопку "Добавить". Кнопка "Отмена" закрывает всплывающее окно без изменений.

То же всплывающее окно открывается через пункт "Добавить тег к выбранным" меню правой кнопки мыши в таблице и плитках. Если меню открыто на выделенном файле, действие применяется ко всей выбранной группе. Если файл не выделен, действие применяется только к нему.

Тег добавляется к каждому выбранному файлу. Прежние теги и метки сохраняются, повторное добавление не создает дубликатов. Теги отображаются текстом через запятую, отдельно от меток.

После операции сообщение показывает количество обновленных файлов. Если часть файлов не обновилась, сообщение перечисляет их имена. После проверки доступа можно нажать на кнопку "Повторить для этих файлов".

Для создания нового тега дополнительно требуется право создания Документов. Его можно создать в карточке отдельного файла через поле "Новый тег".

Поиск и фильтры документов#

Фильтры тегов, меток, расширения и метаинформации встроены во вкладку фильтра меню соответствующей колонки. Теги и метки выбираются из списка значений. Расширения выбираются по группам типов файлов, а метаинформация — по вхождению текста. Правило "Любой из выбранных" или "Все выбранные" доступно в основной вкладке меню колонки "Теги". Выбранные условия сохраняются при переключении представлений документов.

При примененном фильтре кнопка меню соответствующей колонки подсвечивается. Подсветка исчезает после сброса фильтра. Это действует в представлениях документов и индексации.

Настройки внешнего вида интерфейса могут скрывать колонки меток и метаинформации в таблице. Сохраненные значения остаются доступны. Скрытые колонки можно включить на вкладке колонок в меню таблицы. Метаинформацию можно изменить в карточке файла.

В результатах поиска кнопка "Почему найдено" с иконкой информации показывает причины совпадения и доступный текстовый фрагмент. Фрагмент подсвечивается в предпросмотре. Для совпадения только по имени или папке фрагмент может отсутствовать.

Группы расширений#

Группы расширений ниже соответствуют стандартной конфигурации. Администратор может изменить их в настройках внешнего вида интерфейса.

В меню колонки "Расширение" на вкладке фильтра доступны группы PDF, Word, Excel, PowerPoint, текст, изображения, аудио и видео. Выбор группы Word включает DOC и DOCX, а Excel — XLS и XLSX. Стрелка у группы раскрывает отдельные расширения. Можно выбрать всю группу или отдельные форматы. Выбранные группы и форматы отображаются в заголовке колонки после закрытия меню.

Фильтр расширений работает совместно с поиском, тегами и другими условиями. Чтобы снять ограничение по типам файлов, необходимо выбрать все значения в списке фильтра. На странице индексации доступен такой же фильтр колонки "Расширение".

Индексация документов#

Кнопка "Индексация" с иконкой пульса находится рядом с тремя кнопками представлений документов над таблицей. Она открывает плоский список файлов всех доступных папок. Для возврата к папкам и файлам необходимо выбрать таблицу, плитки или крупные плитки в той же группе кнопок. Активное представление подсвечивается. Группа представлений расположена слева над таблицей, кнопки действий — справа.

Полоска статусов занимает всю ширину экрана. При наведении на нее появляется подсказка "Статусы индексации документов" с общим количеством доступных Документов, счетчиками каждого статуса и пояснениями. Подсказку также можно открыть фокусом с клавиатуры. Статусы в ней не являются кнопками. Счетчики учитывают выбранные в шапке Папки объектов и права Пользователя. Они не зависят от текущей страницы списка или раскрытой папки. Полоска видна и в режиме плиток.

Документы со статусом "Ошибка" не попадают в поиск. Для поиска ошибочных файлов и повторной индексации необходимо выполнить следующие действия:

1. Можно открыть экран Документы и можно нажать на кнопку "Индексация" над таблицей.

2. Можно открыть меню столбца "Статус", можно перейти на вкладку фильтра и необходимо выбрать "Ошибка". При необходимости необходимо выбрать несколько значений, например "Ошибка" и "В обработке".

3. Меню столбцов позволяют фильтровать список: имя, описание, статус, теги, метки, расширение, метаинформация, Папки объектов, даты и размер. Можно переключать страницы списка. Размер страницы — 20, 50 или 100 файлов.

4. Можно нажать на путь в столбце "Папка", чтобы перейти к файлу в представлении "Документы". Цепочка папок раскроется, файл будет выделен.

5. Для файла со статусом "Ошибка" можно нажать на кнопку с иконкой повтора и подсказкой "Повторить индексацию". Файл вернется в очередь обработки. Действие требует права обновления Документов.

На телефоне список отображается карточками. Кнопка "Обновить" обновляет список и счетчики. Пока экран открыт, статусы также обновляются автоматически. Текущая страница сохраняется.

Если файлов нет, в подсказке полоски появляется сообщение "Документов нет.". Если нет ошибок и текущей обработки, подсказка содержит сообщение "Ошибок индексации и документов в обработке нет.". При ошибке загрузки можно нажать на кнопку "Обновить" повторно.

Настройки документов#

Всплывающее окно "Настройки документов" открывается по кнопке "Обработка документов". Эти параметры действуют для всего Аккаунта и применяются при новой индексации. Карандаш в строке папки открывает "Свойства папки".

На вкладке "Индексация" блок "Сейчас на аккаунте" показывает текущую Модель (или встроенный embed-server), размерность вектора и незавершенный переход. Если Модель недоступна в списке, отображается ее GUID: необходимо проверить доступ перед изменением. Смена Модели или размерности удаляет старые векторы и пересчитывает их по сохраненному тексту. Файлы без сохраненных фрагментов читаются заново. Изменение только OCR не удаляет векторы.

Смена Модели индексации или размерности#

Пошаговый сценарий и примеры перехода приведены в инструкции по смене Модели индексации.

Размерность эмбеддинга должна совпадать с числом компонентов вектора, который возвращает выбранная Модель. Например, если Модель создает вектор из 1024 чисел, необходимо указать 1024. Исходное значение — 384. Допустимы целые числа от 32 до 2000.

Для Модели индексации нужен ровно один активный Экземпляр: разные Экземпляры могут создавать несовместимые векторы под одним именем Модели. Можно создать Модель и Экземпляр в разделе Моделей, а стандартной для индексации необходимо назначить ее здесь, в настройках Документов.

Для изменения настроек индексации необходимо выполнить следующие действия:

1. На экране Документы можно нажать на кнопку "Обработка документов" и открыть вкладку "Индексация".

2. Необходимо выбрать доступную "Модель индексации" и необходимо указать ее фактическую "Размерность эмбеддинга". Изменение только числа в поле не меняет Модель.

   

3. Можно нажать на кнопку "Сохранить". Система проверит, что выбранная Модель доступна, возвращает вектор указанной размерности и поисковый индекс подготовлен. Если эта предварительная проверка не пройдена, прежняя Модель, размерность и старые векторы сохранятся. Настройки распознавания PDF, измененные одновременно, могли сохраниться отдельно: после ошибки можно открыть настройки повторно и необходимо проверить их. Размерности 384 и 1024 подготовлены при обновлении сервера. Другие размерности требуют предварительной подготовки индекса администратором. После успешной проверки сервер сохраняет новую Модель и размерность вместе, удаляет старые векторы и пересчитывает их по сохраненному тексту без повторного распознавания. Файлы без сохраненных текстовых фрагментов читаются заново. Файлы с автоматической индексацией встают в очередь, а образцы ответов Ассистентов переиндексируются. Файлы в режиме ручной индексации сохраняют этот режим, их нужно переиндексировать вручную. Файлы без индексации остаются без нее. Исходные файлы сохраняются.

4. Необходимо дождаться завершения обработки файлов. Пока само переключение не завершено, поиск по содержимому временно недоступен. Пока файлы переиндексируются, результаты могут быть неполными. У автоматически обрабатываемого файла статус меняется с Ожидает обработки через В обработке на Готов. Для файла со статусом Ожидает ручной индексации можно открыть его и можно нажать на кнопку "Переиндексировать", затем необходимо дождаться статуса Готов.

Текстовые фрагменты, добавленные через POST /api/v1/files/{file_guid}/chunks, сохраняются при смене Модели или размерности и получают новые векторы из своего текста. Изменение размера или перекрытия чанков будет отклонено, если есть такие фрагменты без исходного файла: восстановить их после удаления нельзя. Чтобы изменить нарезку, необходимо сохранить текст и метаданные вне системы, затем необходимо удалить эти фрагменты или содержащий их файл и необходимо повторить действие.

При изменении полей "Размер чанка" или "Перекрытие чанков" рядом с полем появляется значок предупреждения. Можно навести на него указатель или необходимо установить фокус клавиатурой, чтобы прочитать пояснение. Нажатие на кнопку "Сохранить" применяет новую нарезку ко всем файлам с автоматической индексацией: прежние текстовые фрагменты удаляются, файлы читаются заново, а сканы повторно распознаются. Это может занять значительно больше времени. Если вместе с нарезкой изменились Модель или размерность, новые векторы создаются после повторного чтения файлов.

Если после обработки у файла отображается Ошибка, можно открыть причину и необходимо проверить доступность выбранной Модели и ее размерность. После устранения причины можно нажать на кнопку "Переиндексировать" у этого файла. Если требуется заново обработать все файлы, можно использовать отдельную кнопку "Удалить все векторы и переиндексировать". Повторное сохранение той же Модели и размерности при завершенном переходе не запускает повторную индексацию.

Если переход прервался и всплывающее окно "Настройки документов" показывает, что он не завершен, необходимо повторить сохранение той же Модели и размерности: сервер завершит очистку и постановку файлов в очередь без повторного переключения. Индексация файлов продолжится в фоне. До завершения перехода нельзя выбирать другую пару Модели и размерности.

Теги и поиск документов#

Для поиска требуется право чтения Документов и доступ к файлам. Выбор тегов выполняется в меню колонки "Теги" на экране Документы.

Для отбора файлов по тегам необходимо выполнить следующие действия:

1. Можно открыть меню колонки "Теги" и вкладку фильтра, затем выбрать нужные значения.

   

2. В основной вкладке этого меню можно выбрать правило "Любой из выбранных" или "Все выбранные". Первое правило используется по умолчанию и оставляет файлы хотя бы с одним выбранным тегом. Второе оставляет только файлы со всеми выбранными тегами.

   

3. Для снятия условия тегов необходимо сбросить фильтр колонки "Теги" либо выбрать все его значения. Остальные условия поиска сохраняются. Если снять выбор всех значений, список файлов будет пустым.

Например, при выборе тегов "Договор" и "Подписан" правило "Все выбранные" оставляет файл с обоими тегами. Файл только с тегом "Договор" не попадает в результат. Другие фильтры продолжают сужать список.

Чтобы назначить теги, можно открыть файл через кнопку "Редактировать", выбрать существующие теги или создать новый тег и сохранить карточку. Для изменения файла нужна Роль с правом редактирования документов. Для поиска достаточно права чтения. Если нужный файл не появился в результатах поиска на экране Документы, можно проверить назначенные ему теги в карточке файла и выбранное правило в основной вкладке меню колонки "Теги" на этом экране. Для создания нового тега дополнительно требуется право создания Документов.

По умолчанию метки на экране Документы скрыты: их нет в фильтре, таблице, плитках и карточке редактирования. Администратор может снова показать метки, задав hide_document_marks значение false в настройках внешнего вида интерфейса. Ранее назначенные метки сохраняются при изменении файла. Интеграции могут продолжать читать метки и применять серверный фильтр mark_guids через API.

Метаинформация файла#

Поле "Метаинформация" остается в карточке файла. Чтобы заполнить или изменить его, на экране Документы можно открыть карточку файла через кнопку "Редактировать", ввести значение, например "Серия 17", и сохранить. После повторного открытия карточки файла введенное значение остается в поле "Метаинформация". У файла без значения поле "Метаинформация" пустое. Для изменения нужно право редактирования документов.

По умолчанию на экране Документы отдельный фильтр и колонка метаинформации скрыты. Если в настройках внешнего вида интерфейса параметр hide_document_metainfo_in_list имеет значение false, фильтр и колонка "Метаинформация" отображаются на экране Документы. Сохраненные значения и API-поле metainfo остаются доступны интеграциям. Параметр metainfo в API поиска отбирает файлы по подстроке в этом поле, например серия находит "Серия 17". Поле не влияет на индексацию содержимого или ранжирование результатов.

Управление справочником тегов#

Тег остается в справочнике Аккаунта после снятия с отдельного файла. Для управления самим тегом используется всплывающее окно "Управление тегами".

Просмотр требует права чтения Документов. Добавление, переименование и удаление доступны при соответствующих правах Роли на создание, изменение и удаление. Без прав на создание, изменение и удаление список доступен только для просмотра. При отсутствии права на отдельное действие соответствующая кнопка недоступна. Имя тега не должно быть пустым и должно содержать не более 64 символов. Одинаковые имена в справочнике недопустимы.

Для открытия справочника на экране Документы в таблице или представлении "Индексация" можно нажать на кнопку с карандашом рядом с фильтром колонки "Теги". На узком экране кнопка расположена рядом с кнопками представлений над таблицей.

Откроется всплывающее окно "Управление тегами" со списком тегов Аккаунта.

Во всплывающем окне доступны следующие независимые действия:

• Для добавления необходимо указать имя в поле "Новый тег" и нажать на кнопку "Добавить".

• Для переименования необходимо изменить имя в строке тега и нажать на кнопку "Сохранить".

• Для удаления необходимо нажать на кнопку "Удалить" в строке тега. Действие подтверждается кнопкой "Да". Кнопка "Нет" отменяет удаление.

  

  После подтверждения тег исчезает из справочника и из отображения файлов Аккаунта. Сами файлы не удаляются.

  

• Для возврата к документам можно нажать на кнопку "Закрыть". Справочник, список файлов и значения фильтра обновятся.

Если удаленный тег был выбран в фильтре, это условие будет снято. При ошибке изменения не применяются во всплывающем окне. Необходимо проверить сообщение и повторить действие.

Ошибки индексации PDF#

Для запуска переиндексации и изменения настроек требуется разрешение Роли на изменение Документов. Причина отказа отображается в колонке "Статус" и ее подсказке. Неизвестные сбои сохраняют общий текст "индексация не выполнена".

PDF со сканированными страницами требует включенного распознавания: Tesseract или "Сохраненная модель". Небольшой выход изображения скана за границу страницы не мешает распознаванию видимой части. При отключенном OCR извлекается только текстовый слой. Скан без текстового слоя не индексируется.

После устранения причины необходимо открыть файл и нажать на кнопку "Переиндексировать". Результат успешной обработки — статус "Готов", без прежней причины ошибки. Если отказ повторяется, необходимо передать администратору название файла и текст из колонки "Статус". Изменение настройки само по себе не подтверждает успешную индексацию.