Menu "Gravação"#

O menu "Gravação" consiste nos seguintes elementos:

№ p/pElemento da interfaceDescrição
1.botão “Gravação”

Permite gravar as ações do Usuário em aplicativos ou

sites e inseri-las no diagrama atual como blocos do Robô.

2.botão “Computer Vision”
3.botão “Extrair dados”Permite extrair informações estruturadas (tabelas, listas, elementos semelhantes) de aplicativos (Word, Excel, etc.) e páginas da web no navegador e, em seguida, inserir no diagrama atual um bloco que automatiza esse processo.

A automação da extração de dados para uma tabela usando um site bancário com taxas de câmbio é demonstrada aqui.
4.botão “Extrair por modelo”Permite criar modelos inteligentes para extrair informações estruturadas e semiestruturadas (tabelas, atributos) de documentos (PDF, PNG, JPG, etc.).
5.botão “Reconhecer”Permite reconhecer um documento, área da tela ou janela de aplicativo usando um dos motores OCR disponíveis, em seguida, encontrar e clicar na palavra especificada ou gravar o texto reconhecido em uma variável.

Botão "Gravação"#

O botão “Gravação” no menu de desenvolvimento permite gravar as ações do Usuário para a criação automatizada de diagramas de processos de negócios. Ao clicar no ícone abaixo do botão “Gravação” – será aberto um menu suspenso com a lista de ferramentas disponíveis para gravação.

  • A ferramenta “Gravação” permite gravar a sequência de ações do Usuário em aplicativos e inseri-las no diagrama atual como blocos do Robô. Ao selecionar esta ferramenta, a janela do Sherpa Designer é minimizada, e o Menu de Gravação aparece na parte esquerda da tela.

Gravador de ações#

№ p/pElemento da interfaceDescrição
1.botão Permite cancelar a gravação das ações do Usuário e sair sem salvar as ações.
2.botão Permite excluir a última ação do Usuário durante a gravação.
3.botão Permite salvar a gravação das ações do Usuário e fechar o menu de gravação.
4.botão Permite gravar a sequência de cliques realizados pelo Usuário.
5.botão Permite iniciar um programa usando uma janela de diálogo adicional.
6.botão Permite simular a pressão de botões do mouse.
6.1.botão Permite simular a pressão do botão esquerdo do mouse.
6.2.botão Permite simular a pressão do botão direito do mouse.
6.3.botão Permite simular um clique duplo do botão esquerdo do mouse.
6.4.botão Permite simular a pausa do cursor do mouse sobre o controle.
6.5.botão Permite simular o arraste de um elemento.
7.botão Permite gravar cliques em uma imagem.
7.1.botão Permite gravar um clique em uma imagem específica na tela. Esta mesma função pode ser realizada pela opção “Gravar imagem” no menu suspenso de Gravação.
7.2.botão Permite gravar um clique em uma imagem específica dentro de uma janela ou controle.
8.botão Permite gravar ações do usuário ao trabalhar com texto.
8.1.botão Permite obter o texto visível do controle.
8.2.botão Permite gravar o texto visível no controle.
8.3.botão Permite clicar no local onde o texto especificado está localizado na tela, reconhecendo previamente todas as inscrições de texto na tela.
8.4.botão Permite obter texto da tela usando reconhecimento de padrões.
8.5.botão

Permite extrair dados de um documento em um aplicativo (Word, Excel, PDF, etc.) ou de

uma página da web aberta no navegador. Esta mesma função pode ser realizada pelo botão “Extrair dados” na barra de “Gravação”.

9.botão Permite gravar ações relacionadas à cópia e colagem.
9.1.botão Permite copiar para a área de transferência o texto do controle.
9.2.botão Permite colar da área de transferência o texto no controle especificado.
10.botão Permite gravar atrasos na execução do Processo.
10.1.botão Permite gravar a espera pela aparição de um elemento na tela.
10.2.botão Permite gravar a espera pelo desaparecimento de um elemento da tela.
11.botão Permite simular a pressão de teclas do teclado usando uma janela de diálogo adicional.
  • A ferramenta “Gravar imagem” permite capturar e salvar a exibição visual na tela. Ao selecionar esta ferramenta, a janela do Sherpa Designer é minimizada. Durante o uso da ferramenta, é necessário destacar a imagem desejada no momento em que o aviso aparecer na tela: , e também fixá-la na tela. Após as ações realizadas, a janela do Sherpa Designer é restaurada e dentro do diagrama aparece um bloco com os dados salvos:
  • As ferramentas “Gravar IE” e “Gravar Chrome” permitem gravar as ações do Usuário nos navegadores. Também estão disponíveis plugins para os navegadores Firefox, Opera e Edge, que permitem gravar as ações do Usuário neles.
    Importante! Para o funcionamento dessas ferramentas, é necessário instalar previamente os plugins correspondentes nos navegadores.
  • As ferramentas "Gravar SUP GUI", incluindo "Gravar SUP Explorer", bem como "Gravar Native RDP", "Gravar Java" permitem gravar a sequência de ações e atividades do Usuário nos aplicativos clientes correspondentes.

Botão "Computer Vision"#

A ferramenta "Computer Vision" tem como objetivo registrar ações do Usuário no modo de automação usando visão computacional. O Sherpa Computer Vision reconhece controles padrão da interface na tela com uma rede neural compacta pré-treinada e permite criar fluxos sem seletores.

Esse modo é recomendado quando os seletores não estão disponíveis ou são difíceis de obter, por exemplo ao automatizar o Linux Desktop sem seletores AT-SPI, desktops virtuais via RDP, Citrix, Basis, VNC, sistemas legados e ambientes remotos nos quais não é possível instalar plugins da Sherpa.

O Sherpa Computer Vision funciona em um computador comum, inclusive sem conexão com a internet, e não requer GPU.

Ao clicar no botão "Computer Vision", é aberto um gravador para registrar ações nesse modo. Além disso, os blocos de Computer Vision também podem ser adicionados manualmente ao diagrama pela paleta "Automação de Computer Vision".

Botão "Extrair dados"#

Janela "Seleção de coleção"#

A janela "Seleção de coleção" é aberta após clicar no botão "Extrair dados" no menu "Gravação" do Sherpa Designer. Ela é usada para selecionar elementos repetidos em uma página da web ou em um documento, dos quais os dados devem ser extraídos.

No primeiro passo, abra a página da web no navegador ou o documento em um aplicativo compatível como Word, Excel, PDF etc. Em seguida, na janela "Seleção de coleção", clique em "Avançar".

Depois disso, posicione o ponteiro do mouse sobre o primeiro elemento de dados que precisa ser extraído, por exemplo uma linha de lista, um cartão de produto, um resultado de pesquisa ou um item de menu. Quando o elemento for destacado com uma borda, pressione Ctrl.

Em seguida, clique em "Avançar" e selecione um segundo elemento do mesmo tipo. Ele deve pertencer à mesma coleção que o primeiro elemento. Por exemplo, se você selecionou primeiro um resultado de pesquisa, escolha depois outro resultado da mesma lista. Depois que o elemento for destacado, pressione Ctrl também.

Depois que os elementos forem selecionados, o Sherpa Designer identifica a coleção e abre a janela de pré-visualização.

Pré-visualização do resultado#

Na aba "Pré-visualização do resultado", são exibidos os dados que o Sherpa Designer conseguiu extrair da coleção selecionada. Os dados são apresentados em uma tabela.

No exemplo, é criada a coluna Coluna1, que contém os valores de texto dos elementos encontrados. O usuário pode verificar se a coleção foi identificada corretamente e quais dados serão salvos.

Nessa aba, o botão "Adicionar nova coluna" está disponível. Ele permite adicionar uma coluna extra para extrair outros dados da mesma coleção, como um link, nome, descrição ou outro atributo do elemento.

Editor de seletores#

Na aba "Editor de seletores", são exibidas as configurações de extração de dados da coleção selecionada. Aqui é possível ver e alterar os parâmetros das colunas pelas quais o Sherpa Designer obtém os dados.

Na tabela, são exibidos:

Campo Descrição
"Nome da coluna" Nome da coluna em que os dados extraídos serão gravados.
"Nome do atributo" Atributo do elemento do qual o valor é extraído. Por exemplo, InnerText significa extrair o texto visível do elemento.
"CSS" Seletor CSS usado para localizar o elemento.
ParentIndent Parâmetro relacionado ao nível de aninhamento do elemento em relação ao elemento pai da coleção.

Na parte superior da aba, estão disponíveis as ações:

Botão Finalidade
"Atualizar com novos dados" Executar a extração novamente com as configurações alteradas.
"Selecionar coluna novamente" Selecionar novamente o elemento para a coluna atual.
"Excluir coluna" Excluir a coluna selecionada do resultado.
"Adicionar coluna com link" Adicionar uma coluna para extrair o link do elemento.

Após revisar o resultado e configurar as colunas, clique em "Salvar". Se não for necessário salvar os dados, clique em "Cancelar".

Botão "Extrair por modelo"#

O botão “Extrair por modelo” na barra “Gravação” permite criar modelos inteligentes para extrair informações estruturadas e semiestruturadas (tabelas, atributos) de documentos (PDF, PNG, JPG, etc.). Ao clicar no botão “Extrair por modelo”, uma nova janela com o gerador de modelos (Modelador) é aberta. Mais sobre o Modelador aqui.

Botão "Reconhecer"#

O botão “Reconhecer” no menu de desenvolvimento permite reconhecer um documento, área da tela ou janela de aplicativo usando um dos motores OCR disponíveis, em seguida, encontrar e clicar na palavra especificada ou gravar o texto reconhecido em uma variável. Ao clicar no ícone abaixo do botão “Reconhecer” – uma lista suspensa com a lista de ferramentas disponíveis será aberta:

  • A ferramenta "Clique no texto na tela (OCR)" funciona tanto no navegador quanto em aplicativos;
  • A ferramenta "Reconhecer texto da tela (OCR)" funciona tanto no navegador quanto em aplicativos;
  • A ferramenta "Reconhecer texto da imagem (OCR)".

Importante! Para usar essas ferramentas, é necessário salvar o projeto.

  • A ferramenta "Clique no texto na tela (OCR)" permite especificar o texto que deve ser clicado. Para isso, após clicar no botão “Clique no texto na tela (OCR)”, é necessário pressionar a tecla CTRL na área destacada da tela e, em seguida, destacar o texto que deve ser clicado. Na nova janela de diálogo que se abre, é possível testar o clique, alterar os parâmetros do clique ou mudar o motor OCR.
  • A ferramenta “Reconhecer texto da tela (OCR)” permite reconhecer texto da tela usando OCR. Para isso, após clicar no botão “Reconhecer texto da tela (OCR)”, é necessário pressionar a tecla CTRL na área destacada da tela e, em seguida, destacar o texto que deve ser reconhecido. Na nova janela de diálogo que se abre, é possível verificar o resultado do reconhecimento ou mudar o motor OCR.
  • A ferramenta “Reconhecer texto da imagem (OCR)” permite reconhecer texto de uma imagem em um arquivo. Esta ferramenta permite selecionar o caminho para o arquivo da imagem original em seu computador. Se necessário, para reconhecer texto da imagem, você pode usar as opções oferecidas.
NºElemento da interfaceDescrição
1.Idiomas

Permite especificar o idioma do texto

que deve ser reconhecido na imagem. A opção está disponível quando uma imagem é carregada.

2.MóduloPermite especificar o módulo OCR que será utilizado para reconhecer o texto. A opção está disponível quando uma imagem é carregada.
3.EscalaPermite escalar a imagem original. O valor padrão é 1.
4.Usar como delimitador de blocos (HEX ACII)Permite escolher um símbolo específico no texto para dividir esse texto em blocos separados. Esse símbolo deve ser representado em seu código hexadecimal (HEX) na codificação ASCII.
5.Colar automaticamente (apenas Yandex)Permite colar automaticamente blocos separados.
6.Separar em espaços vazios maioresPermite separar em um espaço vazio uma sequência de mais de N caracteres.