AI Insight Validator (AIV) – ein NEUES Feature im AI-Concerge für das Content-Management mit den besten Antworten!
Wir fragten uns - und lösten die Frage auch gleich:
Geben wir die passenden Antworten und finden wir die Potentiale in den Grundlagen (Webseite, FAQ, PDF,…) zu besseren Antworten bei den gestellten Fragen?
Unsere Lösung:
- AI Insight Validator (AIV) – Ein ausschließlich AI gestützter Prozess um KI-generierte Antworten bewerten zu können.
Ein speziell eingesetztes KI-Modell, das als Kontrollinstanz dient, bewertet die von einer anderen KI generierten Antworten anhand festgelegter Kriterien. Diese strukturierte Bewertung (3 Qualitätskriterien) stellt sicher, dass die Antworten Qualitätsstandards entsprechen und sowohl informativ als auch genau sind. Zusätzlich erstellen wir einen Kurzbericht zur gegebenen Antwortgüte (analysis)
- Spalte: Quality – „1, 2 oder 3 Bars“ zeigen an ob ausreichend Quellen für die Antwort gefunden wurden
- Spalte: Answer – „Kein Stern, nicht ausgefüllter oder ausgefüllter Stern“ zeigen an, welche Gesamtqualität die Antwort in Bezug auf die gestellte Frage hatte.
- Hinweis
Somit können Sie hier einfach jene Fragen selektieren wo für die Beantwortung die vorhandenen Wissens-Grundlagen nicht ausgereicht haben (d.i. kein oder ein nicht ausgefüllter Stern bei Answer!)
- Ergebnis
Bei der jeweiligen Frage können Sie dann die AIV Bewertung genau betrachten, bewerten und entsprechend handeln! Sie finden die Ergebnisse des AIV ab heute bei jeder Frage/Antwort im AI-Concierge!
- So funktioniert der AIV Prozess:
- Kontextanalyse: Zunächst kontextualisiert der Evaluator die Antwort, indem er die bereitgestellten Informationen überprüft und bewertet, wie effektiv diese bei der Formulierung der Antwort genutzt wurden.
- Bewertungskriterien
- Gesamtqualität der Antwort (overall_quality)
- Relevanz zur Frage (relevance_to_question)
- Genauigkeit der Informationen (accuracy_of_information)
- Erklärung der Parameter
Gesamtqualität der Antwort (overall quality)
- Perfekt: Die Antwort behandelt die Kernfrage umfassend und präzise.
- Durchschnittlich: Die Antwort deckt die Frage ab, könnte jedoch an Detailtiefe mangeln oder kleinere Fehler enthalten.
- Schlecht: Die Antwort gelingt es nicht, die Hauptfrage effektiv zu adressieren.
Relevanz zur Frage (relevance_to_question)
- Hochrelevant: Der Inhalt bezieht sich direkt auf die Anfrage und bietet präzise und fokussierte Einsichten.
- Etwas relevant: Obwohl die Antwort relevante Informationen enthält, kann sie auch unwesentliche Details oder Abschweifungen umfassen.
- Nicht relevant: Der Inhalt behandelt die Anfrage nicht und konzentriert sich auf unzusammenhängende oder themenfremde Elemente.
Genauigkeit der Informationen (accuracy_of_information)
- Vollständig genau: Alle Fakten und Daten in der Antwort sind überprüft und wahr.
- Überwiegend genau: Die Mehrheit des Inhalts ist korrekt; es kann jedoch leichte Ungenauigkeiten geben.
- Unpräzise: Die Antwort enthält faktische Fehler oder irreführende Daten.
