Key Takeaway
Fähigkeiten des KI-Agenten
Atlas erfasst den sichtbaren Kontext zuverlässig und navigiert souverän durch UI-Elemente. Dadurch ist es überraschend hilfreich beim grundlegenden Onboarding und beim Auffinden bestimmter Funktionen im DecisionRules-Dashboard.
Lücken im Fachwissen
Das Modell tut sich mit spezifischer Geschäftslogik (etwa speziellen Risikofaktoren im Versicherungsbereich) schwer und „halluziniert“ gelegentlich Funktionen, die es im Produkt gar nicht gibt.
Menschliche Kontrolle bleibt nötig
Für einfache Aufgaben und die erste Orientierung ist Atlas hilfreich, die Expertise eines menschlichen Business Analysts bei der Modellierung komplexer Regeln und Logikabläufe kann es jedoch noch nicht ersetzen.
Wir haben DecisionRules mit ChatGPT Atlas getestet
Es ist schon eine Weile her – rund ein Jahr –, seit OpenAI mit ChatGPT Atlas einen eigenen Browser mit nativer KI-Unterstützung veröffentlicht hat. Seitdem hat sich Atlas eine solide Nutzerbasis aufgebaut und Berichten zufolge mehrere Millionen Early Adopter weltweit erreicht. Im Vergleich zu Marktführern wie Google Chrome ist das zwar immer noch ein kleiner Anteil, doch das Wachstumstempo zeigt ein großes Interesse an KI-zentrierten Browsing-Erlebnissen.
Hinweis: In diesem Artikel nutzen wir den Agent Mode, eine kostenpflichtige Funktion von Atlas, mit der die KI aktiv mit der Webseite interagieren kann – sie klickt, tippt und navigiert im Namen des Nutzers durch die Benutzeroberfläche.
Wir waren also natürlich neugierig auf Atlas: Wie clever würde es mit DecisionRules umgehen? Wie hilfreich könnte es für DecisionRules-Nutzer sein? Das lässt sich am besten herausfinden, indem man es selbst ausprobiert.
Um das integrierte KI-Modell herauszufordern, haben wir ein einfaches Nutzerszenario vorbereitet, das die grundlegendsten und häufigsten Tätigkeiten in der DecisionRules-App abdeckt. Das Szenario ist in mehrere chronologische Abschnitte gegliedert, die jeweils Aufgaben für das KI-Modell enthalten. Bevor wir mit unserem Experiment fortfahren, geben wir einen kurzen Überblick über das Testszenario.
Das Testszenario: Onboarding-Challenge für den KI-Agenten
Unser Testszenario bildet den Fall eines neuen Nutzers nach, der die App zum ersten Mal öffnet. Bei DecisionRules legen wir großen Wert darauf, unseren Nutzern die bestmögliche UX zu bieten, und der erste Kontakt mit der App ist für uns von zentraler Bedeutung. Deshalb waren wir sehr gespannt, ob der Atlas-Browser einem Nutzer in den ersten Momenten in der App bei der Orientierung und beim Verständnis helfen und ihn ohne Stolpern durch die grundlegenden Funktionen von DecisionRules führen kann.
Teile des Szenarios:
- Allgemeine Fragen. Der Nutzer stellt einige theoretische Fragen.
- Regelerstellung aus einer Vorlage. Der Nutzer nennt seinen Interessenbereich und soll eine passende Vorlage angezeigt bekommen.
- Decision Table verstehen. Atlas soll erklären, wie die Tabelle funktioniert, und Hilfestellung in der Benutzeroberfläche geben.
- Decision Table testen. Der Nutzer möchte die Regel testen und Testeingabedaten generieren.
- Decision Table bearbeiten. Abschließend muss der Nutzer einfache Änderungen vornehmen, etwa eine Zeile hinzufügen sowie Bedingungen und Ergebnisse bearbeiten.
Nachdem das Testszenario feststeht, wenden wir uns Atlas zu und sehen uns an, was es zu bieten hat.
DecisionRules vs. ChatGPT Atlas: Die Ergebnisse
Wir haben uns mit einem neuen Konto in der Anwendung angemeldet und das integrierte ChatGPT-Panel geöffnet. Dabei war der Agent Mode aktiviert, sodass Atlas auf Anweisung die Steuerung des Cursors übernehmen konnte. Zum Aufwärmen begannen wir mit ein paar Fragen.
Phase 1: Test des Allgemeinwissens und
Wofür eignet sich DecisionRules?
Bei allgemeinen Fragen oder Wissensfragen liefert ChatGPT sehr präzise (und sehr lange) Antworten. Das ist keine Überraschung – schließlich gehört das Erzeugen gut verständlicher Erklärungen zu den Kernstärken von LLMs.
Wofür eignet sich DecisionRules?
Welche Regeltypen gibt es in DecisionRules?
Hier war die Antwort nicht korrekt. Atlas nannte eine Mischung aus tatsächlichen Regeltypen und mehreren erfundenen. Das zeigt eine wichtige Einschränkung: Die Qualität der Antworten hängt stark davon ab, auf welche Daten ChatGPT zugreifen kann und wie gut diese Daten das konkrete Produkt abbilden.
Welche Regeltypen gibt es in DecisionRules?
Phase 2: Navigation durch die Vorlagen mit dem Agent Mode
Ich bin Business Analyst und arbeite an einem Reiseversicherungsprozess, habe aber keine Ahnung, wie ich ihn aufbauen soll. Ich bin in diesem Tool völlig neu. Was schlagen Sie vor?
Diese Frage zielt auf Vorlagen ab. Die Antwort war im Großen und Ganzen korrekt, offenbarte aber auch eine Schwäche: ChatGPT neigt zu übermäßig komplexen, abstrakten Erklärungen, statt dem Nutzer ein praxisnahes Schritt-für-Schritt-Erlebnis zu ermöglichen. Wir hofften, dass sich das bei praktischeren Aufgaben bessern würde. Also gaben wir Atlas einen Schubs in die richtige Richtung:
Öffnen Sie das Vorlagenmenü, damit wir eine besser passende Vorlage finden.
An diesem Punkt kam endlich der Agent Mode zum Einsatz. Nach kurzem Nachdenken fand Atlas erfolgreich die passende Vorlage.
Atlas überlegt, wie es die Vorlagenliste öffnet.
Atlas hat die Vorlage ausgewählt.
Anschließend konnten wir die Vorlage verwenden und DecisionRules den Prozess „Travel Insurance“ für uns erstellen lassen.
Phase 3: Kann ChatGPT Decision Tables erklären?
Als Nächstes öffneten wir die Regel „Continents“ aus dem neu erstellten Prozess „Travel Insurance“. Diese Regel ist eine sehr einfache Decision Table und eignet sich daher ideal für eine Erklärung.
Erklären Sie mir ganz kurz, wie die Tabelle funktioniert.
Die Antwort war korrekt, und wir bekamen sogar einen kleinen Bonus: Atlas interpretierte die Funktion der Tabellen innerhalb der Vorlage richtig und zeigte damit, dass es wertvolle Informationen aus dem Seitenkontext nutzen kann.
Erklären Sie mir ganz kurz, wie die Tabelle funktioniert.
Wo kann ich die Eingabe- und Ausgabeattribute ändern?
Die erste Antwort war nicht korrekt. Zu diesem Zeitpunkt befanden wir uns in der Detailansicht der Regel, während die Eingabe- und Ausgabeattribute im Tab „Model“ bearbeitet werden.
Wo kann ich die Eingabe- und Ausgabeattribute ändern?
Interessant ist jedoch: Als wir erneut fragten und Atlas ausdrücklich erlaubten, sich „umzusehen“, fand es schließlich die richtige Stelle.
Eingabe- und Ausgabeattribute gefunden.
Phase 4: Automatisiertes Testen von Regeln
Danach kehrten wir zum Regeldesigner zurück und baten Atlas, die Regel zu testen.
Können Sie die Regel für mich testen?
Atlas dachte eindeutig in die richtige Richtung …
Können Sie die Regel für mich testen?
… und nach 37 Sekunden hatte es die Eingabedaten in der Test Bench ausgefüllt und die Regel erfolgreich ausgeführt.
Test Bench gefunden und Regel ausgeführt.
Phase 5: Logik bearbeiten und an fachliche Grenzen stoßen
Im letzten Teil des Experiments baten wir Atlas, tatsächliche Änderungen an der Tabelle vorzunehmen.
Erweitern Sie die Tabelle um den Kontinent Antarktis.
Atlas gab sein Bestes und versuchte, die passende Abfolge von Schritten zu ermitteln.
Erweitern Sie die Tabelle um den Kontinent Antarktis.
Die Aufgabe dauerte etwa eine Minute, aber das Ergebnis war korrekt. Atlas folgerte sogar, dass der Risikofaktor für die Antarktis vermutlich recht niedrig sein sollte. Gut gemacht, Atlas!
Tabelle erfolgreich erweitert
Fügen Sie eine neue Bedingung hinzu, die das aktuelle Datum berücksichtigt – wenn in der Antarktis Polarnacht herrscht, soll der Risikofaktor noch niedriger sein.
Hier stießen wir eindeutig an die Grenzen des Modells. Atlas fehlte das nötige Fachwissen, um die passende Funktion zu erstellen. Das ist kaum überraschend – auch viele erfahrene Fachanwender hätten mit dieser Aufgabe vermutlich ihre Mühe.
Fügen Sie eine neue Bedingung hinzu, die das aktuelle Datum berücksichtigt – wenn in der Antarktis Polarnacht herrscht, soll der Risikofaktor noch niedriger sein.
Fazit
Unser Test von ChatGPT Atlas in der DecisionRules-App war eine angenehme Überraschung. Atlas beantwortet Fragen gut – das sind wir von LLMs inzwischen gewohnt –, kann aber auch durch die Benutzeroberfläche navigieren und dabei sowohl sichtbare Bildschirminhalte als auch verborgene Seitenmetadaten nutzen. Dank dieser Fähigkeiten konnte Atlas einfache Aufgaben erledigen, etwa eine Decision Table testen oder grundlegende Änderungen vornehmen. Das kann für neue Nutzer, die sich in der Anwendung zurechtfinden müssen, ein erheblicher Vorteil sein.
Wie jedes intelligente System macht Atlas Fehler, und seine Ergebnisse sollten stets mit Vorsicht genossen werden. Zudem stößt man relativ schnell an seine Grenzen, ab denen es die Anfrage nicht mehr verarbeiten kann. In diesem Fall können Sie jederzeit ein teureres ChatGPT-Abo ausprobieren. Wir empfehlen jedoch weiterhin, sich an natürliche Intelligenz in Form des DecisionRules-Supports zu wenden.
Über den Autor: Jakub Kaninsky ist Lead Full-Stack Developer und Team Lead bei DecisionRules und verfügt über mehr als 6 Jahre Erfahrung in der Full-Stack-Webentwicklung. Als Teamleiter konzentriert er sich auf technische Architektur, Codequalität und die Führung des Entwicklungsteams und wirkt gleichzeitig aktiv an der Weiterentwicklung des Kernprodukts mit.
Jakub Kaninsky ist Lead Developer bei DecisionRules und gestaltet die Weiterentwicklung einer Plattform zur Entscheidungsautomatisierung mit, die Unternehmen weltweit nutzen, um ihre geschäftliche Entscheidungslogik zu verwalten und zu automatisieren. Er verbindet technische Führung mit praktischer Softwareentwicklung und bringt sich in die Produktausrichtung, das Feature-Design, Architekturdiskussionen sowie die tägliche Weiterentwicklung der Plattform ein.
