Запись действий пользователя

Интерфейс

Инструмент Записи (рекордер) является важной частью Sherpa Designer, которая может помочь сэкономить большое количество времени при автоматизации бизнес-процессов. Эта функция позволяет легко записывать действия пользователя на экране, такие как запуск программ, клики на кнопках и гиперссылках веб-страниц, выбор элементов меню, вызов контекстного меню и т.д., и преобразовывать их в блоки бизнес-процесса.

Рекордер используется для интерактивного захвата элементов управления в приложениях и браузерах, таким образом происходит автоматизированное создание сценария. Можно записать всю последовательность действий пользователя (работает только для левого, правого и двойного клика) или использовать пошаговую запись (доступен более широкий список записываемых действий). Выбор элементов управления в браузере происходит без использования кода веб-страниц, интерактивно.

Меню Записи появляется у левой границы экрана, при этом окно Sherpa Designer сворачивается.

Меню Запись

№ п/пЭлемент интерфейсаОписание элемента интерфейса

1.

Позволяет отменить запись действий пользователя и выйти без сохранения действий.

2.

Позволяет удалить последнее действие пользователя при записи.

3.

Позволяет сохранить запись действий пользователя и закрыть меню записи.

4.

Позволяет записать последовательность кликов, совершаемых пользователем.

5.

Позволяет запустить программу с помощью дополнительного диалогового окна.

6.

Позволяет эмулировать нажатие кнопок мыши.

6.1.

Позволяет эмулировать нажатие левой кнопки мыши.

6.2.

Позволяет эмулировать нажатие правой кнопки мыши.

6.3.

Позволяет эмулировать двойное нажатие левой кнопки мыши.

6.4.

Позволяет эмулировать задержку курсора мыши над элементом управления.

6.5.

Позволяет эмулировать перетаскивание элемента.

7.

Позволяет записывать клики по изображению.

7.1.

Позволяет записать клик по заданному изображению на экране. Эту же функцию позволяет выполнять пункт “Записать изображение” из выпадающего списка меню Записи.

7.2.

Позволяет записать клик по заданному изображению внутри окна или элемента управления.

8.

Позволяет записывать действия пользователя при работе с текстом.

8.1.

Позволяет получить видимый текст элемента управления.

8.2.

Позволяет записать видимый текст в элемент управления.

8.3.

Позволяет кликнуть по месту расположения заданного текста на экране, предварительно распознав все текстовые надписи с экрана.

8.4.

Позволяет получить текст с экрана методом распознавания образов.

8.5.

Позволяет извлечь данные из документа в приложении (Word, Excel, PDF и т.д.) или из веб-страницы, открытой в браузере. Эту же функцию позволяет выполнять кнопка “Извлечь данные” на панели “Запись”.

9.

Позволяет записывать действия связанные с копированием и вставкой.

9.1.

Позволяет скопировать в буфер обмена текст из элемента управления.

9.2.

Позволяет вставить из буфера обмена текст в заданный элемент управления

10.

Позволяет записывать задержки в выполнении процесса.

10.1.

Позволяет записать ожидание появления элемента на экране.

10.2.

Позволяет записать ожидание исчезновения элемента с экрана.

11.

Позволяет эмулировать нажатие клавиш клавиатуры с помощью дополнительного диалогового окна.

Во время Записи элементы пользовательского интерфейса выделяются красной рамкой, как показано на приведенном ниже снимке экрана, что позволяет быть уверенным в правильности выбора соответствующих кнопок, полей и меню.

Блоки бизнес-процесса в Диаграмме, созданные с помощью Записи интерфейса пользователя, отличаются от Блоков, добавленных из палитры. Отличие заключается в наличие значка «фото», при наведении на который отображаются информативные снимки экрана, сделанные программой в момент выбора элемента управления. Маленьким крестиком показана точка, на которую пользователь кликнул при записи.

Функция Get OCR Text — получить текст с экрана методом распознавания образов.

Во время Записи выделите элементы (область экрана) на которой нужно произвести поиск текста – то есть выделите область, в которой будет проводиться распознавание. Область ограничьте красной рамкой, которая появляется зажатием кнопки мыши. Распознавание текста проводится с помощью встроенных и внешних модулей распознавания:

  • Tesseract OCR

  • Yandex Vision

  • Microsoft OCR

  • OCR Space

  • ABBYY Cloud OCR

  • ABBYY FineReader

Выберите нужный модуль распознавания. Вы можете сразу видеть результаты распознавания в окне слева. Если результаты распознавания верны, нажмите «Сохранить». Если результаты распознавания не удовлетворяют, выберите другой модуль распознавания из списка и нажмите Обновить или измените доступные настройки распознавания.

Доступны для подключения следующие OCR:

— Tesseract OCR

— ABBYY OCR

— Microsoft OСR

— Yandex Vision

Last updated