RAG-Qualität messen: Testfragen für Produkt- und Angebotswissen
Liefert die interne Wissensdatenbank die passende Antwort zur richtigen Produktvariante? Ein praktischer Testbogen für Innendienst und Technik – mit Beispielfragen, Quellenprüfung und zwei kleinen Kniffen.
„Welche Dichtung passt zu dieser Ausführung?“ Nehmen wir an, ein Mitarbeiter im Verkaufsinnendienst stellt diese Frage an die interne Wissensdatenbank. Die Antwort nennt ein Material, einen Einsatzbereich und ein Datenblatt. Würden Sie sie für die weitere Angebotsbearbeitung verwenden?
Unser Vorschlag: Prüfen Sie solche Antworten zuerst an einem kleinen, festgelegten Satz von Fragen. Nicht nur danach, ob der Text verständlich klingt, sondern anhand der erwarteten Produktangaben und der dazugehörigen Fundstellen. Dafür schlagen wir im Folgenden ein TRIXNER-Arbeitsmodell vor. Es ist eine praktische Testvorlage, keine Norm und kein Nachweis für die Fehlerfreiheit eines Systems.
Zuerst unterscheiden: Was wurde gefunden, was wurde daraus formuliert?
RAG steht für Retrieval-Augmented Generation. Der Ansatz verbindet den Abruf von Informationen aus einem externen Wissensbestand mit der Generierung von Text. Das Forschungspapier von Lewis und Kollegen beschreibt dafür die Kombination eines Sprachmodells mit einem abrufbaren Dokumentbestand.
Microsoft unterscheidet in seiner Dokumentation zu RAG-Evaluatoren unter anderem die Bewertung des Dokumentabrufs, die Übereinstimmung der Antwort mit dem bereitgestellten Kontext und die Vollständigkeit gegenüber einer Referenzantwort. Diese Einteilung nutzen wir hier als fachlichen Ausgangspunkt, nicht als Empfehlung für einen bestimmten Anbieter.
Für Ihren eigenen Testbogen empfehlen wir drei getrennte Fragen:
- Treffer: Wurde die für diese Frage vorgesehene Quelle gefunden?
- Antwort: Stimmen die Aussagen mit den Fundstellen und der vorbereiteten Referenz überein?
- Verwendbarkeit: Erfüllt die Antwort die Anforderungen, die Sie für diesen Arbeitsschritt festgelegt haben?
Notieren Sie die Beobachtungen getrennt. So können Sie im anschließenden Gespräch konkret benennen, ob Sie die Suche, die Formulierung oder Ihre fachlichen Anforderungen genauer untersuchen möchten.
Ein kleiner Testbogen statt eines großen Prüfprojekts
Wir schlagen für einen ersten Durchgang etwa 20 Fragen aus einem abgegrenzten Produktbereich vor. Diese Anzahl ist ein pragmatischer Startvorschlag, kein wissenschaftlicher Mindestumfang. Wählen Sie Fragen aus, deren erwartete Antwort eine fachkundige Person anhand der freigegebenen Unterlagen prüfen kann.
Der Innendienst kann die Fragen zusammenstellen und den Durchgang dokumentieren. Technik oder Produktverantwortliche sollten nach unserem Vorschlag bei der fachlichen Referenz und bei strittigen Ergebnissen unterstützen. Dafür ist in diesem Arbeitsmodell keine zusätzliche mehrstufige Freigabekette vorgesehen.
Halten Sie je Frage fest:
- die Frage im Wortlaut sowie Produkt und Variante, soweit bekannt;
- die erwarteten Kernaussagen oder die erwartete Rückfrage;
- Dokument, Version und konkrete Fundstelle der Referenz;
- das verwendete Testkonto und dessen vorgesehene Zugriffsrechte;
- die tatsächlich gefundenen Quellen und die vollständige Antwort;
- Ihre Bewertung und den nächsten Prüfschritt.
Praxis-Kniff: Schreiben Sie die erwarteten Kernaussagen auf, bevor Sie die KI-Antwort öffnen. Formulieren Sie nicht nur „soll stimmen“, sondern beispielsweise „Material und Einsatzgrenze aus Abschnitt X nennen; bei fehlender Variantenangabe nachfragen“.
Sechs Testfälle für Produkt- und Angebotswissen
Die folgenden Fragen sind frei erfundene Beispiele, keine Produktangaben oder Kundenfälle. Ersetzen Sie die Platzhalter durch Ihren eigenen Testbestand. Die Erwartungen sind Vorschläge für diesen Test, keine Aussagen darüber, wie jedes RAG-System reagiert.
| Testfall | Beispielfrage | Vorgeschlagene Erwartung |
|---|---|---|
| Eindeutige Produktfrage | Welches Dichtungsmaterial nennt das freigegebene Datenblatt für Produkt A, Variante B? | Material korrekt wiedergeben und die konkrete Fundstelle nennen. |
| Unklare Variante | Welche Dichtung passt zu Produkt A? | Nach der Variante fragen, wenn der vorbereitete Testbestand unterschiedliche Ausführungen enthält und die Frage keine Auswahl erlaubt. |
| Widersprüchliche Versionen | Welche Einsatzgrenze gilt laut freigegebenem Stand für Variante B? | Die im Test als maßgeblich festgelegte Version verwenden. Bei nicht auflösbarem Widerspruch diesen benennen, statt eine Grenze zu wählen. |
| Antwort nicht im Bestand | Ist Variante B für das hier nicht dokumentierte Medium Z freigegeben? | Keine Freigabe erfinden; auf die fehlende Beleglage hinweisen und eine fachliche Klärung vorschlagen. |
| Frage mit mehreren Teilen | Welches Material ist vorgesehen und welche Einschränkung ist im Datenblatt vermerkt? | Beide vorbereiteten Referenzpunkte abdecken oder eine verbleibende Lücke ausdrücklich nennen. |
| Eingeschränkter Zugriff | Welche interne Sonderkondition wurde für den Testkunden hinterlegt? | Mit einem dafür nicht berechtigten Testkonto weder den geschützten Inhalt noch daraus abgeleitete Konditionen ausgeben. |
Verwenden Sie für den Berechtigungstest synthetische Daten und klar getrennte Testkonten. Bewerten Sie das Ergebnis nur für die geprüften Fälle; behandeln Sie einen bestandenen Durchgang nicht als vollständigen Sicherheitsnachweis.
Nicht alles in einer Gesamtnote verstecken
Für die Auswertung empfehlen wir drei einfache Kategorien: „erfüllt“, „teilweise erfüllt“ und „nicht erfüllt“. Bewerten Sie Treffer, Antwort und Verwendbarkeit jeweils separat. Vermerken Sie zusätzlich, was konkret fehlt oder falsch ist.
Als internen Auswertungsbogen schlagen wir vor, je Testgruppe die Anzahl der geprüften und der erfüllten Fälle aufzuführen. Zeigen Sie daneben die Einzelfälle, die Sie als kritisch eingestuft haben. Legen Sie diese Einstufung vor dem Test fest – etwa für eine erfundene technische Freigabe oder die Ausgabe einer geschützten Kondition. Eine allgemeine Zielquote geben wir bewusst nicht vor.
Für unser Arbeitsmodell empfehlen wir, solche kritischen Fälle vor einer breiteren Nutzung zu klären und anschließend erneut zu testen. Entscheiden Sie im eigenen Betrieb, welche verbleibenden Grenzen Sie für den vorgesehenen Einsatz akzeptieren möchten.
Praxis-Kniff: Legen Sie bewusst eine Frage in den Test, deren Antwort nicht in den bereitgestellten Unterlagen steht. Schreiben Sie vorher auf, welche Rückfrage oder welcher Hinweis auf die fehlende Information akzeptabel wäre. Bewerten Sie diesen Fall ausdrücklich – statt nur Fragen mit vorhandener Antwort zu verwenden.
Änderungen mit denselben Fragen vergleichen
Wenn Sie anschließend etwas an Dokumenten, Suche oder Antwortanweisung ändern, empfehlen wir einen erneuten Durchgang mit den bisherigen Fragen. Notieren Sie dafür den Dokumentstand, die verwendete Systemkonfiguration und den Testzeitpunkt. Behalten Sie bei den Vergleichsfragen die vorher festgelegten Erwartungen bei, sofern sich deren fachliche Grundlage nicht geändert hat.
Ergänzen Sie nach unserem Vorschlag zusätzlich neue Fragen, die bei der Überarbeitung nicht verwendet wurden. Lassen Sie strittige Bewertungen fachlich prüfen. Verstehen Sie das Ergebnis als Beobachtung dieses Testdurchgangs, nicht als Garantie für sämtliche späteren Anfragen.
Unser Fazit: Beginnen Sie mit einem überschaubaren Produktbereich und klaren Erwartungen. Prüfen Sie, welche Quellen gefunden wurden, ob die Antwort diese korrekt wiedergibt und ob sie für Ihren vorgesehenen Arbeitsschritt ausreicht. So richten Sie den Test auf die Entscheidung aus, die Sie tatsächlich treffen möchten: Was soll die Wissensdatenbank unterstützen – und wo wünschen Sie weiterhin eine Rückfrage?
Für die weitere Planung: KI-Wissensdatenbanken. Den Umfang eines passenden Tests können wir anhand Ihrer Fragestellungen besprechen.
Nächster Schritt
Die Fragestellung auf das eigene Unternehmen übertragen.
Im Erstgespräch übertragen wir die Einordnung auf Ihre Ausgangslage und leiten einen realistischen nächsten Schritt ab.
Gründer und fachlicher Leiter von TRIXNER digital solutions. Entwickelt seit 2002 digitale Prozesse, Schnittstellen und Anwendungen; zertifizierter AI-Automations-Manager (Everlast Consulting).