blog

Traut der Antwort nicht: Wie wir prüfen, was eine KI wirklich getan hat

Varsha Vasudev

Serie: Open-Weight-KI für Datenteams: Was wir gelernt haben – Teil 4

Stellt euch vor, ihr fragt ein KI-Modell, wie viele Bestellungen im Juli eingegangen sind. Die Antwort kommt sofort, sauber formatiert und ohne jedes Zögern: 1.240. Nur stehen in eurer Datenbank 1.180. Eine Antwort, die sicher klingt, ist eben noch keine richtige.

In Teil 3 unserer Reihe ging es darum, was Open-Weight-Modelle sind und was es braucht, sie selbst zu betreiben. Bleibt die wichtigste Frage: Kann man ihren Antworten trauen? Um das herauszufinden, haben wir unseren Test um eine einzige Regel gebaut, die auch sonst für uns gilt: Keine Antwort wird ungeprüft übernommen.

Warum öffentliche Benchmarks nicht reichen

Öffentliche Benchmarks taugen für einen ersten Eindruck. Sie messen aber allgemeine Fähigkeiten, nicht eure Art von Arbeit. Uns interessierte etwas Praktischeres: Wenn ihr ein Modell zu euren Daten befragt, findet es dann die richtigen Informationen? Nutzt es die richtigen Werkzeuge? Und sagt es euch die Wahrheit?

Fünf Stufen, von leicht bis schwer

Jedes Modell durchlief dieselben fünf Stufen:

  1. Orientierung. Einfache Fragen dazu, was schon da ist, etwa wie viele Tabellen ein Projekt enthält.
  2. Ressourcen anlegen. Das Modell soll aus einer Datei eine Datenquelle einrichten.
  3. Einfache Abfragen. Direkte Fragen zu den Daten, zum Beispiel wie viele Bestellungen im Juli eingegangen sind.
  4. Komplexe Abfragen. Fragen mit mehreren Bedingungen, etwa der Umsatz nach Kundensegment, nur für Stammkunden.
  5. Mehrstufige Abläufe. Längere Aufgaben, zum Beispiel erst eine Daten-Pipeline aufbauen und daraus ein Diagramm erstellen.
Wie wir ein KI-Modell testen Die Methode auf einen Blick: fünf Teststufen von leicht bis schwer (Orientierung, Ressourcen anlegen, einfache Abfragen, komplexe Abfragen, mehrstufige Abläufe), drei eingebaute Fallen, sechs Kriterien bei jeder Frage und die Prüfung gegen die echte Datenbank. OPEN-WEIGHT-KI FÜR DATENTEAMS · TEIL 4 TRAUT DER ANTWORT NICHT Wie wir ein KI-Modell testen 1 Orientierung „Wie viele Tabellen gibt es hier?“ 2 Ressourcen anlegen „Lege aus dieser Datei eine Quelle an.“ 3 Einfache Abfragen „Wie viele Bestellungen im Juli?“ 4 Komplexe Abfragen „Umsatz nach Segment, nur Stammkunden.“ 5 Mehrstufige Abläufe „Erst eine Pipeline, dann ein Diagramm.“ LEICHTER SCHWERER EINGEBAUTE FALLEN · Dieselbe Frage zweimal · Dateiname falsch geschrieben · Bewusst gewählte Reihenfolge SECHS KRITERIEN · Aufgabe gelöst? · Richtiges Werkzeug? · SQL korrekt? · Etwas erfunden? · Sprache sauber? · Wie schnell? GEGENPROBE Jede Antwort in der echten Datenbank nachgeprüft, nicht im Chatverlauf. Dann alles noch einmal auf einem zweiten Datensatz. Jedes Modell bekam dieselben Fragen in derselben Reihenfolge. Wie wir ein KI-Modell testen Die Methode auf einen Blick: fünf Teststufen von leicht bis schwer (Orientierung, Ressourcen anlegen, einfache Abfragen, komplexe Abfragen, mehrstufige Abläufe), drei eingebaute Fallen, sechs Kriterien bei jeder Frage und die Prüfung gegen die echte Datenbank. OPEN-WEIGHT-KI FÜR DATENTEAMS TEIL 4 TRAUT DER ANTWORT NICHT Wie wir ein KI-Modell testen FÜNF STUFEN · LEICHT BIS SCHWER 1 Orientierung „Wie viele Tabellen gibt es hier?“ 2 Ressourcen anlegen „Lege aus dieser Datei eine Quelle an.“ 3 Einfache Abfragen „Wie viele Bestellungen im Juli?“ 4 Komplexe Abfragen „Umsatz nach Segment, nur Stammkunden.“ 5 Mehrstufige Abläufe „Erst eine Pipeline, dann ein Diagramm.“ EINGEBAUTE FALLEN · Dieselbe Frage zweimal · Dateiname falsch geschrieben · Bewusst gewählte Reihenfolge SECHS KRITERIEN Aufgabe gelöst? · Richtiges Werkzeug? SQL korrekt? · Etwas erfunden? Sprache sauber? · Wie schnell? GEGENPROBE Jede Antwort in der echten Datenbank nachgeprüft, nicht im Chatverlauf. Dann alles noch einmal auf einem zweiten Datensatz. Jedes Modell bekam dieselben Fragen in derselben Reihenfolge.
Die ganze Methode auf einen Blick. Die Fallen, die Kriterien und die Gegenprobe erklären wir gleich.

Dieselben Fragen in derselben Reihenfolge

Jedes Modell bekam genau dieselben Fragen in genau derselben Reihenfolge. Zwischen den Modellen haben wir nichts verändert. Nur so lassen sich die Ergebnisse vergleichen, und kein Modell hat einen Vorteil.

Eingebaute Fallen

Zwischen den Fragen haben wir kleine Prüfungen versteckt. Sie zeigen, was ein Modell tut, wenn etwas nicht ganz stimmt:

Sechs Kriterien bei jeder Frage

Bei jeder Antwort haben wir auf sechs Dinge geachtet: Wurde die Aufgabe gelöst? Hat das Modell das richtige Werkzeug genutzt? War das SQL korrekt? Hat es etwas erfunden? Wie sauber war seine Sprache? Und wie schnell hat es geantwortet?

Vertrauen, aber prüfen

Den Chatverlauf allein haben wir nie als Beweis genommen. Ein Modell kann behaupten, etwas getan zu haben, ohne es getan zu haben. Darum haben wir jedes Ergebnis unabhängig davon in der echten Datenbank nachgeprüft.

Erst prüfen, dann glauben Die selbstsichere Antwort einer KI unter der Lupe: 1.240 Bestellungen im Juli. Die echte Datenbank kennt für Juli 1.180. Die beiden Zahlen stimmen nicht überein. Beispielwerte. OPEN-WEIGHT-KI FÜR DATENTEAMS · TEIL 4 TRAUT DER ANTWORT NICHT Erst prüfen, dann glauben ANTWORT DER KI Bestellungen Juli 1.240 05 1.212 06 1.095 07 1.180 ≠ SELBSTSICHERE ANTWORT ECHTE DATENBANK ZAHLEN: BEISPIELWERTE Erst prüfen, dann glauben Die selbstsichere Antwort einer KI unter der Lupe: 1.240 Bestellungen im Juli. Die echte Datenbank kennt für Juli 1.180. Die beiden Zahlen stimmen nicht überein. Beispielwerte. OPEN-WEIGHT-KI FÜR DATENTEAMS TEIL 4 TRAUT DER ANTWORT NICHT Erst prüfen, dann glauben ANTWORT DER KI Bestellungen Juli 1.240 SELBSTSICHERE ANTWORT 05 1.212 06 1.095 07 1.180 ≠ ECHTE DATENBANK ZAHLEN: BEISPIELWERTE
Das Beispiel vom Anfang, mit Beispielwerten: Die Antwort klingt sicher, die Datenbank sagt etwas anderes.

Danach haben wir den ganzen Test auf einem zweiten, unabhängigen Datensatz wiederholt. So wussten wir, dass das erste Ergebnis kein Zufallstreffer war, der nur zu einem bestimmten Testdatensatz passte.

Insgesamt waren das mehr als zehn Modelle, darunter die zehn Open-Weight-Modelle dieser Reihe, und mehr als 100 Testprojekte.

Was dadurch sichtbar wurde

Wir haben geprüft, was tatsächlich passiert ist, nicht was das Modell behauptet hat. Dadurch zeigten sich Unterschiede, die eine einfache Trefferquote verborgen hätte. Um die geht es in den nächsten Teilen.

Wie es weitergeht

Im nächsten Funken stellen wir die Modelle vor, die wir getestet haben: wer sie entwickelt hat, woher sie kommen und wie groß sie sind.

Zum Weiterlesen

← Funkenflug