Режим «Картинка в Картинке» (PiP)

Режим PiP — это особый режим подключению к своему собственному компьютеру через протокол RDP, позволяющий работать в мини-окне одновременно с основным окном сеанса. Например, Пользователь может взаимодействовать с веб-интерфейсом, пока Робот выполняет свои Задачи в другом окне.

1. Основные возможности режима PiP

Многозадачность: одновременное взаимодействие с несколькими приложениями (возможно в тех случаях, когда это поддерживается самим приложением; многие программы не предусматривают запуск нескольких своих экземпляров одновременно).

Повышение эффективности: Робот способен взаимодействовать с приложениями так, чтобы не мешать Пользователю.

Режим PiP позволяет одновременно взаимодействовать с интерфейсами Робота и Пользователя на одном экране. Это значит, что:

• Робот может выполнять свои задачи в фоновом режиме в отдельном окне.

• Пользователь может в это же время управлять интерфейсом, вводить данные, кликать по элементам на экране или просматривать информацию.

Допустим, у Пользователя запущены автоматизированные сценарии, а также ему нужно что-то проверить или изменить вручную. Благодаря режиму PiP всё происходит на одном экране и с возможностью переключения или совмещения.

• Активный интерфейс — интерфейс, с которым в данный момент осуществляется управление. Например, Пользователь щелкает мышью по активному окну.

• Автоматизированные действия — интерфейс, где действия могут выполняться Роботом либо на фоне, либо параллельно с ручным управлением.

• В режиме PiP системное управление мышью часто переключается или имитируется для заданных окон.

• При клике или перемещении мыши Пользователь напрямую управляет текущим активным окном, а Робот, если он запущен, может работать в другом окне.

• В некоторых сценариях используется блокировка мыши.

В режиме PiP можно настроить автоматическое переключение главных окон или работу в "синхронном" режиме — это зависит от сценария.

2. Настройка Робота для работы в режиме PiP

Для корректной работы в режиме PiP необходимо выполнить следующие шаги:

2.1. Настройка групповой политики

• Откройте Local Group Policy Editor.

• Перейдите по пути: `Computer Configuration` → `Administrative Templates` → `System` → `Credential Delegation`.

• Включите параметр: Allow delegating default credentials.

• Убедитесь, что он установлен в состояние Enabled.

2.2. Настройка прав Пользователя

Пользователю нужны права:

• `Allow Log On Locally`

• `Access this computer from the network`

Эти политики можно установить через `Computer Settings` → `Windows Settings` → `Security Settings` → `Local Policies` → `User Rights Assignment`.

Для активации режима PiP требуются права администратора. После его активации любой Пользователь сможет пользоваться режимом PiP без необходимости обладать правами администратора.

3. Запуск Робота в режиме PiP

Робота в режиме PiP можно запустить двумя способами:

3.1. Через интерфейс Sherpa Designer:

Пользователь может запустить в режиме PiP через блок "Запустить робота" в Sherpa Designer. Для этого он должен:

1) На панели «Отладка» нажать на кнопку .

2) Нажать на "Запуск в режиме PiP (Картинка в Картинке)":

3) Подтвердить действие нажатием на кнопку “Да”:

Для корректной работы с браузерами, убедитесь, что браузер запущен не в основном сеансе, иначе Робот не сможет взаимодействовать с ним.

3.2. Через интерфейс Sherpa Assistant:

Пользователь может запустить в режиме PiP через Sherpa Assistant, для этого:

1) В окне «Роботы» выбрать нужного Робота и нажать на кнопку :

Настройки запуска PiP-клиента:

• “Всегда запускать в режиме PiP-клиента” – при включении этого параметра Робот будет всегда запускаться c отображением интерфейса PiP клиента, видимым для Пользователя.

• “Всегда запускать PiP-клиент заблокированным” – Робот запускается в заблокированном состоянии (интерфейс PiP-клиента открыт, но Пользователь не может повлиять на работу Робота).

• “Всегда запускать PiP-клиент в скрытом режиме” – Робот запускается, но окно PiP-клиента скрыто и не отображается на экране.

2) Включить нужный режим и задать горячие клавиши:

Для доступа к Процессам, синхронизированным с Оркестратором необходимо выполнить авторизацию через Пользователя.

Для этого необходимо:

• в меню Sherpa Assistant в трее нужно выбрать пункт “Роботы”:

• в верхней части окна нажать на кнопку “Настройки”:

• во всплывающем окне “Настройки” ввести логин и пароль:

• нажать на кнопку “ОК”.

После входа Пользователю станут доступны Процессы, синхронизированные с Оркестратором:

Также их можно увидеть на экране Процессы:

3.3. Важные рекомендации и ограничения

1) При работе в обычном режиме, Пользователь может мешать Работе Робота, особенно если на экране открыты сразу несколько вкладок и/или приложений. Для решения этой проблемы в режиме PiP настроена функция Блокировки мыши.

Блокировка мыши позволяет предотвратить случайные клики мыши в процессе Работы Робота. Однако стоит отметить, что такая функция может создать сложности для самого Робота, например, если требуется взаимодействие с интерфейсом. В таком случае, Робот не сможет выполнить все необходимые действия.

2) Если у Пользователя возникают проблемы с селекторами при запуске Java-приложения в режиме PiP, то рекомендуется проверить разрешение открывающегося окна в Логе Робота по пути:

c:\Users\User\AppData\Roaming\Sherpa RPA Data\!PiPClient\Log\

3) Если Outlook открыт на основном рабочем столе, то для Робота, работающего в режиме PiP, может возникать ошибка. Работать с двумя экземплярами Outlook одновременно нельзя. Пользователю необходимо выбрать, где ему удобнее работать: в PiP или на основном рабочем столе.

Текущие ограничения возникают из-за работы COM-объекта Outlook, который может подключаться только к первому экземпляру приложения. Если в системе Пользователя используется Exchange, то можно попробовать установить прямое взаимодействие с ним.

3.4. Автоматизация приложений в невидимом режиме

Автоматизация приложений, таких как Power BI, может быть эффективно реализована в невидимом режиме с помощью технологии PiP.

Реализация режима PiP осуществляется через настройки Пользователя, предоставляя возможность управлять автоматизацией более удобно и эффективно. Для получения более подробной информации и пошаговых инструкций по настройке, вы можете обратиться к документации Microsoft .

4. Сценарии использования

4.1. Пример 1: автоматический сценарий с кликами + ручной ввод

• Робот выполняет серию кликов по интерфейсу (например, по кнопкам в веб-странице).

• Пользователь вводит новые данные или проверяет результат, управляя интерфейсом вручную.

Реализация

Робот запускается в режиме PiP с активным управлением мыши в определенной области, а сам Пользователь может, например, кликать по другим элементам или вводить текст.

4.2. Пример 2: тестирование и автоматизация интерфейса

• Робот в автоматическом режиме тестирует интерфейс программы.

• Пока скрипт работает, Пользователь (тестировщик) наблюдает и при необходимости вмешивается (например, останавливает сценарий или исправляет сценарий).

Реализация

Внедрение мониторинга и паузы:

• Включение режима наблюдения — сценарий демонстрируется в окне PiP.

• Внедрение кнопок "Пауза", "Стоп", "Продолжить", если сценарий ожидает подтверждения или ручного вмешательства.

• Внедрение автоматических проверок (например, поиск текста или изображений для подтверждения успешного завершения этапов).

Обработка ошибок и некорректных ситуаций:

• Добавление в сценарий проверок (например, на наличие элемента, на успешное выполнение действия).

• Добавление уведомления об остановке в случае ошибки, или настройка автоматической попытки перезапуска.

Завершение теста и сбор отчетов:

Вывод логов, скриншотов или отчетов.

Сбор статистики.

5. Переключение управления

В режиме PiP можно настроить систему, чтобы Робот выполнял действия параллельно с Пользователем, или, наоборот, переключать управление (например, чтобы Робот работал пока Пользователь не остановит его принудительно).

5.1. Параллельная работа Робота и Пользователя

В данном случае Робот и Пользователь работают независимо и одновременно — Робот выполняет автоматические действия, а Пользователь при этом может вмешиваться или управлять интерфейсом вручную. Для параллельной работы запустите автоматические действия в фоновом режиме (например, в отдельном потоке).

5.2. Переключение управления между Роботом и Пользователем

В этом случае Робот сначала управляет интерфейсом, а потом Пользователь может взять управление от Робота, или наоборот. Для переключения управления реализуйте флаг или переключатель, который останавливает автоматическую работу или включает её, позволяя управлять сценарием вручную или автоматом.

6. Примеры сценариев работы PiP на практике

7. FAQ по режиму PiP

Вопрос: Можно ли запускать одновременно двух Роботов в режиме PiP?

Ответ: Нет. В режиме PiP может быть запущен только один Робот. В дальнейшем этот Робот сможет запускать других фоновых Роботов.

Вопрос: Что делать, если Робот не может взаимодействовать с интерфейсом?

Ответ: Проверьте активное окно, права доступа, наличие селекторов. Зачастую это связано с некорректными настройками или блокировками.

Вопрос: Можно ли работать в PiP с браузерами?

Ответ: Браузер должен быть запущен только в одном экземпляре в PIP режиме, иначе плагин не сможет работать с Роботом.