Key Takeaway
Capacidades do Agente de IA
Atlas se destaca em ler o contexto visível e navegar pelos elementos da interface do usuário, tornando-se surpreendentemente eficaz para o onboarding básico e para encontrar recursos específicos dentro do painel do DecisionRules.
Lacunas de Conhecimento de Domínio
O modelo tem dificuldades com lógica de negócios específica (como fatores de risco de seguro especializados) e pode ocasionalmente "alucinar" recursos que não existem no produto.
Supervisão Humana Necessária
Embora seja útil para tarefas simples e orientação, o Atlas ainda não pode substituir a expertise de um analista de negócios humano para projetar modelagens de regras complexas e fluxos de lógica.
Testamos o DecisionRules com o ChatGPT Atlas
Já faz um tempo—aproximadamente um ano—desde que a OpenAI lançou seu próprio navegador com suporte nativo para IA, o ChatGPT Atlas. Desde então, o Atlas ganhou uma base sólida de usuários, alcançando vários milhões de adotantes iniciais em todo o mundo. Embora isso ainda represente apenas uma pequena porcentagem em comparação com líderes de mercado como o Google Chrome, a taxa de crescimento sugere um forte interesse em experiências de navegação com foco em IA.
Nota: Neste artigo, usamos o Modo Agente, um recurso pago do Atlas que permite que a IA interaja ativamente com a página da web, incluindo clicar, digitar e navegar na interface em nome do usuário.
Dito isso, estávamos naturalmente curiosos sobre o Atlas: Quão inteligente ele seria ao lidar com o DecisionRules? Quão útil poderia ser para um usuário do DecisionRules? Não há melhor maneira de descobrir do que tentar por nós mesmos.
Para desafiar o modelo de IA integrado, preparamos um cenário de usuário simples que cobre as atividades mais básicas e comuns dentro do aplicativo DecisionRules. O cenário é dividido em várias partes cronológicas, cada uma contendo tarefas apresentadas ao modelo de IA. Antes de prosseguir com nosso experimento, vamos dar uma breve visão geral do cenário de teste.
O Cenário de Teste: Desafio de Onboarding do Agente de IA
Nosso cenário de teste imita o caso de um novo usuário visitando o aplicativo pela primeira vez. No DecisionRules, estamos fortemente comprometidos em oferecer a melhor experiência possível aos nossos usuários, e o primeiro contato com o aplicativo é absolutamente essencial para nós. Portanto, estávamos muito curiosos para ver se o navegador Atlas seria capaz de ajudar um usuário com orientação e compreensão durante seus primeiros momentos no aplicativo, e se poderia guiá-los pelos recursos básicos do DecisionRules sem tropeços.
Partes do cenário:
- Perguntas Gerais. O usuário faz algumas perguntas teóricas.
- Criação de Regras a partir de um Modelo. O usuário indica sua área de interesse e deve ser apresentado a um modelo relevante.
- Compreensão da Tabela de Decisão. O Atlas deve explicar como a tabela funciona e fornecer orientação dentro da interface.
- Teste da Tabela de Decisão. O usuário quer testar a regra e gerar dados de entrada para teste.
- Edição da Tabela de Decisão. Finalmente, o usuário precisa fazer edições simples, como adicionar uma linha e editar condições e resultados.
Com o cenário de teste definido, vamos ao Atlas e ver o que ele tem a oferecer.
DecisionRules vs. ChatGPT Atlas: Os Resultados
Fizemos login no aplicativo usando uma conta nova e abrimos o painel integrado do ChatGPT. Observe que o Modo Agente estava ativado, permitindo que o Atlas assumisse o controle do cursor quando solicitado. Começamos com algumas perguntas de aquecimento.
Fase 1: Testando Conhecimento Geral e Alucinações de IA
Para que serve o DecisionRules?
Quando se trata de perguntas gerais ou de estilo trivia, o ChatGPT fornece respostas muito precisas (e muito longas). Isso não é surpresa—afinal, gerar explicações legíveis por humanos é uma das principais forças dos LLMs.
Para que serve o DecisionRules?
Que tipos de regras existem no DecisionRules?
Aqui, a resposta não estava correta. O Atlas listou uma mistura de tipos de regras reais junto com vários inventados. Isso destaca uma limitação importante: a qualidade das respostas depende fortemente dos dados aos quais o ChatGPT tem acesso e de quão bem esses dados refletem o produto específico.
Que tipos de regras existem no DecisionRules?
Fase 2: Navegando pelos Modelos de UI com o Modo Agente
Sou um analista de negócios trabalhando em um processo de seguro de viagem, mas não tenho ideia de como construí-lo. Estou completamente novo neste ferramenta. O que você sugeriria?
Esta pergunta se concentra em modelos. Embora a resposta tenha sido geralmente correta, também revelou uma desvantagem: o ChatGPT tende a produzir explicações excessivamente complexas e de alto nível, em vez de facilitar uma experiência prática e passo a passo para o usuário. Esperamos que isso melhore uma vez que passássemos para tarefas mais práticas. Então, direcionamos o Atlas na direção certa:
Abra o menu de modelos para que possamos encontrar uma opção melhor.
Neste ponto, o Modo Agente finalmente entrou em ação. Após um breve momento de raciocínio, o Atlas localizou com sucesso o modelo relevante.
Atlas pensando em abrir a lista de modelos.
Atlas selecionou o modelo.
Podemos então usar o modelo e deixar o DecisionRules criar o processo de Seguro de Viagem para nós.
Fase 3: O ChatGPT Pode Explicar Tabelas de Decisão?
Em seguida, abrimos a regra dos Continentes do recém-criado processo de Seguro de Viagem. Esta regra é uma Tabela de Decisão muito simples, tornando-a ideal para explicação.
Diga-me muito brevemente como a tabela funciona.
A resposta estava correta, e ainda recebemos um pequeno bônus. O Atlas interpretou corretamente a função das tabelas dentro do modelo, demonstrando que pode aproveitar informações valiosas disponíveis no contexto da página.
Diga-me muito brevemente como a tabela funciona.
Onde posso mudar as propriedades de entrada e saída?
A resposta inicial não estava correta. Neste ponto, estávamos visualizando os detalhes da regra, enquanto as propriedades de entrada e saída são editadas na aba Modelo.
Onde posso mudar as propriedades de entrada e saída?
O que é interessante, no entanto, é que quando perguntamos novamente e explicitamente permitimos que o Atlas "olhasse ao redor", ele eventualmente encontrou o lugar correto.
Encontrou as propriedades de entrada e saída.
Fase 4: Automatizando Testes de Regras
Então, voltamos ao designer de regras e pedimos ao Atlas para testar a regra.
Você pode testar a regra para mim?
O Atlas estava claramente pensando na direção certa…
Você pode testar a regra para mim?
…e após 37 segundos, ele preencheu com sucesso os dados de entrada no banco de testes e executou a regra.
Encontrou o banco de testes e executou a regra.
Fase 5: Editando Lógica e Lidando com Limites de Domínio
Na parte final do experimento, pedimos ao Atlas para fazer edições reais na tabela.
Estenda a tabela com o continente Antártica.
O Atlas fez o seu melhor, tentando determinar a sequência apropriada de passos.
Estenda a tabela com o continente Antártica.
A tarefa levou cerca de um minuto, mas o resultado foi correto. O Atlas até inferiu que o fator de risco para a Antártica deveria ser bastante baixo. Bom trabalho, Atlas!
Tabela estendida com sucesso
Adicione uma nova condição refletindo a data atual – se for noite polar na Antártica, o fator de risco deve ser ainda mais baixo.
Aqui, claramente atingimos os limites do modelo. O Atlas não tinha conhecimento de domínio suficiente para construir a função apropriada. Isso não é surpreendente—muitos usuários de negócios experientes provavelmente teriam dificuldades com essa tarefa também.
Adicione uma nova condição refletindo a data atual – se for noite polar na Antártica, o fator de risco deve ser ainda mais baixo.
Conclusão
Nosso teste do ChatGPT Atlas dentro do aplicativo DecisionRules foi uma agradável surpresa. O Atlas lida bem com perguntas—algo que esperamos dos LLMs—mas também pode navegar pela interface, aproveitando tanto o conteúdo visível da tela quanto os metadados ocultos da página. Graças a essas capacidades, o Atlas foi capaz de realizar tarefas simples, como testar uma Tabela de Decisão ou fazer edições básicas, o que pode ser um benefício significativo para novos usuários se orientando no aplicativo.
Como qualquer sistema inteligente, o Atlas comete erros e deve sempre ser usado com cautela. Também é relativamente fácil atingir seus limites, momento em que ele não pode mais processar o pedido. Se isso acontecer, você sempre pode tentar assinar um plano mais caro do ChatGPT. No entanto, ainda recomendaríamos recorrer à inteligência natural na forma de suporte do DecisionRules.
Sobre o autor: Jakub Kaninsky é um Desenvolvedor Full-stack Líder e Líder de Equipe na DecisionRules com mais de 6 anos de experiência em desenvolvimento web full-stack. Como líder de equipe, ele se concentra na arquitetura técnica, qualidade do código e orientação da equipe de desenvolvimento, enquanto contribui ativamente para o desenvolvimento do produto principal.
Jakub Kaninsky
Lead Developer