Key Takeaway
Capacidades del Agente de IA
Atlas sobresale en leer el contexto visible y navegar por los elementos de la interfaz de usuario, lo que lo hace sorprendentemente efectivo para la incorporación básica y la búsqueda de características específicas dentro del panel de DecisionRules.
Brechas en el Conocimiento del Dominio
El modelo tiene dificultades con la lógica de negocio específica (como factores de riesgo de seguros especializados) y puede ocasionalmente "alucinar" características que no existen en el producto.
Se Requiere Supervisión Humana
Si bien es útil para tareas simples y orientación, Atlas aún no puede reemplazar la experiencia de un analista de negocios humano para diseñar modelado de reglas complejas y flujos de lógica.
Hemos probado DecisionRules con ChatGPT Atlas
Ha pasado un tiempo—aproximadamente un año—desde que OpenAI lanzó su propio navegador con soporte nativo de IA, ChatGPT Atlas. Desde entonces, Atlas ha ganado una base de usuarios sólida, alcanzando varios millones de primeros adoptantes en todo el mundo. Si bien esto sigue representando solo un pequeño porcentaje en comparación con líderes del mercado como Google Chrome, la tasa de crecimiento sugiere un fuerte interés en experiencias de navegación centradas en la IA.
Nota: En este artículo, utilizamos el Modo Agente, una función de pago de Atlas que permite a la IA interactuar activamente con la página web, incluyendo hacer clic, escribir y navegar por la interfaz de usuario en nombre del usuario.
Dicho esto, teníamos curiosidad sobre Atlas: ¿Qué tan inteligente sería al tratar con DecisionRules? ¿Qué tan útil podría ser para un usuario de DecisionRules? No hay mejor manera de averiguarlo que probarlo nosotros mismos.
Para desafiar el modelo de IA integrado, preparamos un escenario de usuario simple que cubre las actividades más básicas y comunes dentro de la aplicación DecisionRules. El escenario se divide en varias partes cronológicas, cada una conteniendo tareas presentadas al modelo de IA. Antes de avanzar con nuestro experimento, déjenos dar un breve resumen del escenario de prueba.
El Escenario de Prueba: Desafío de Incorporación del Agente de IA
Nuestro escenario de prueba imita el caso de un nuevo usuario que visita la aplicación por primera vez. En DecisionRules, estamos firmemente comprometidos a ofrecer la mejor experiencia de usuario posible a nuestros usuarios, y el primer contacto con la aplicación es absolutamente esencial para nosotros. Por lo tanto, teníamos mucha curiosidad por ver si el navegador Atlas podría ayudar a un usuario con la orientación y comprensión durante sus primeros momentos en la aplicación, y si podría guiarlos a través de las características básicas de DecisionRules sin tropiezos.
Partes del escenario:
- Preguntas Generales. El usuario hace un par de preguntas teóricas.
- Creación de Reglas a partir de una Plantilla. El usuario indica su área de interés y debería presentarse con una plantilla relevante.
- Comprensión de la Tabla de Decisiones. Atlas debería explicar cómo funciona la tabla y proporcionar orientación dentro de la interfaz de usuario.
- Prueba de la Tabla de Decisiones. El usuario quiere probar la regla y generar datos de entrada para la prueba.
- Edición de la Tabla de Decisiones. Finalmente, el usuario necesita hacer ediciones simples, como agregar una fila y editar condiciones y resultados.
Con el escenario de prueba definido, dirijámonos a Atlas y veamos qué tiene para ofrecer.
DecisionRules vs. ChatGPT Atlas: Los Resultados
Iniciamos sesión en la aplicación usando una cuenta nueva y abrimos el panel integrado de ChatGPT. Tenga en cuenta que el Modo Agente estaba habilitado, permitiendo que Atlas tomara control del cursor cuando se le indicara. Comenzamos con algunas preguntas de calentamiento.
Fase 1: Probando Conocimientos Generales y Alucinaciones de IA
¿Para qué es bueno DecisionRules?
Cuando se trata de preguntas generales o de estilo trivial, ChatGPT proporciona respuestas muy precisas (y muy largas). Esto no es una sorpresa—después de todo, generar explicaciones legibles para humanos es una de las principales fortalezas de los LLMs.
¿Para qué es bueno DecisionRules?
¿Qué tipos de reglas existen en DecisionRules?
Aquí, la respuesta no fue correcta. Atlas enumeró una mezcla de tipos de reglas reales junto con varios inventados. Esto resalta una limitación importante: la calidad de las respuestas depende en gran medida de los datos a los que ChatGPT tiene acceso y de cuán bien esos datos reflejan el producto específico.
¿Qué tipos de reglas existen en DecisionRules?
Fase 2: Navegando por Plantillas de UI con el Modo Agente
Soy un analista de negocios trabajando en un proceso de seguro de viaje, pero no tengo idea de cómo construirlo. Soy completamente nuevo en esta herramienta. ¿Qué sugerirías?
Esta pregunta se dirige a las plantillas. Si bien la respuesta fue generalmente correcta, también reveló un inconveniente: ChatGPT tiende a producir explicaciones demasiado complejas y de alto nivel en lugar de facilitar una experiencia práctica y paso a paso para el usuario. Esperamos que esto mejore una vez que pasemos a tareas más prácticas. Así que empujamos a Atlas en la dirección correcta:
Abre el menú de plantillas para que podamos encontrar una mejor opción.
En este punto, el Modo Agente finalmente se activó. Después de un breve momento de razonamiento, Atlas localizó con éxito la plantilla relevante.
Atlas pensando en abrir la lista de plantillas.
Atlas seleccionó la plantilla.
Luego podríamos usar la plantilla y dejar que DecisionRules cree el proceso de Seguro de Viaje por nosotros.
Fase 3: ¿Puede ChatGPT Explicar Tablas de Decisiones?
A continuación, abrimos la regla de Continentes del nuevo proceso de Seguro de Viaje. Esta regla es una Tabla de Decisiones muy simple, lo que la hace ideal para la explicación.
Dime muy brevemente cómo funciona la tabla.
La respuesta fue correcta, e incluso recibimos un pequeño bono. Atlas interpretó correctamente la función de las tablas dentro de la plantilla, demostrando que puede aprovechar la información valiosa disponible en el contexto de la página.
Dime muy brevemente cómo funciona la tabla.
¿Dónde puedo cambiar las propiedades de entrada y salida?
La respuesta inicial no fue correcta. En este punto, estábamos viendo el detalle de la regla, mientras que las propiedades de entrada y salida se editan en la pestaña Modelo.
¿Dónde puedo cambiar las propiedades de entrada y salida?
Lo interesante, sin embargo, es que cuando preguntamos de nuevo y permitimos explícitamente que Atlas "mirara alrededor", finalmente encontró el lugar correcto.
Encontró las propiedades de entrada y salida.
Fase 4: Automatizando la Prueba de Reglas
Luego regresamos al diseñador de reglas y le pedimos a Atlas que probara la regla.
¿Puedes probar la regla por mí?
Atlas claramente estaba pensando en la dirección correcta…
¿Puedes probar la regla por mí?
…y después de 37 segundos, completó con éxito los datos de entrada en el banco de pruebas y ejecutó la regla.
Encontró el banco de pruebas y ejecutó la regla.
Fase 5: Editando Lógica y Manejo de Límites del Dominio
En la parte final del experimento, le pedimos a Atlas que hiciera ediciones reales en la tabla.
Extiende la tabla con el continente de la Antártida.
Atlas hizo su mejor esfuerzo, intentando determinar la secuencia apropiada de pasos.
Extiende la tabla con el continente de la Antártida.
La tarea tomó aproximadamente un minuto, pero el resultado fue correcto. ¡Atlas incluso dedujo que el factor de riesgo para la Antártida debería ser bastante bajo. ¡Buen trabajo, Atlas!
Extensión de la tabla exitosa
Agrega una nueva condición que refleje la fecha actual: si es noche polar en la Antártida, el factor de riesgo debería ser aún más bajo.
Aquí, claramente alcanzamos los límites del modelo. Atlas no tenía suficiente conocimiento del dominio para construir la función apropiada. Esto no es sorprendente—muchos usuarios de negocios experimentados probablemente también tendrían dificultades con esta tarea.
Agrega una nueva condición que refleje la fecha actual: si es noche polar en la Antártida, el factor de riesgo debería ser aún más bajo.
Conclusión
Nuestra prueba de ChatGPT Atlas dentro de la aplicación DecisionRules fue una grata sorpresa. Atlas maneja bien las preguntas—algo que hemos llegado a esperar de los LLMs—pero también puede navegar por la interfaz de usuario, aprovechando tanto el contenido visible de la pantalla como los metadatos ocultos de la página. Gracias a estas capacidades, Atlas pudo realizar tareas simples como probar una Tabla de Decisiones o hacer ediciones básicas, lo que puede ser un beneficio significativo para los nuevos usuarios que se familiarizan con la aplicación.
Como cualquier sistema inteligente, Atlas comete errores y siempre debe ser utilizado con precaución. También es relativamente fácil alcanzar sus límites, momento en el cual ya no puede procesar la solicitud. Si eso sucede, siempre puedes intentar suscribirte a un plan de ChatGPT más caro. Sin embargo, aún recomendaríamos recurrir a la inteligencia natural en forma de soporte de DecisionRules.
Sobre el autor: Jakub Kaninsky es un Desarrollador Full-stack Líder y Líder de Equipo en DecisionRules con más de 6 años de experiencia en desarrollo web full-stack. Como líder de equipo, se enfoca en la arquitectura técnica, la calidad del código y en guiar al equipo de desarrollo mientras contribuye activamente al desarrollo del producto central.
Jakub Kaninsky
Lead Developer