Serie: Open-Weight-KI für Datenteams: Was wir gelernt haben – Teil 4
Stellt euch vor, ihr fragt ein KI-Modell, wie viele Bestellungen im Juli eingegangen sind. Die Antwort kommt sofort, sauber formatiert und ohne jedes Zögern: 1.240. Nur stehen in eurer Datenbank 1.180. Eine Antwort, die sicher klingt, ist eben noch keine richtige.
In Teil 3 unserer Reihe ging es darum, was Open-Weight-Modelle sind und was es braucht, sie selbst zu betreiben. Bleibt die wichtigste Frage: Kann man ihren Antworten trauen? Um das herauszufinden, haben wir unseren Test um eine einzige Regel gebaut, die auch sonst für uns gilt: Keine Antwort wird ungeprüft übernommen.
Warum öffentliche Benchmarks nicht reichen
Öffentliche Benchmarks taugen für einen ersten Eindruck. Sie messen aber allgemeine Fähigkeiten, nicht eure Art von Arbeit. Uns interessierte etwas Praktischeres: Wenn ihr ein Modell zu euren Daten befragt, findet es dann die richtigen Informationen? Nutzt es die richtigen Werkzeuge? Und sagt es euch die Wahrheit?
Fünf Stufen, von leicht bis schwer
Jedes Modell durchlief dieselben fünf Stufen:
- Orientierung. Einfache Fragen dazu, was schon da ist, etwa wie viele Tabellen ein Projekt enthält.
- Ressourcen anlegen. Das Modell soll aus einer Datei eine Datenquelle einrichten.
- Einfache Abfragen. Direkte Fragen zu den Daten, zum Beispiel wie viele Bestellungen im Juli eingegangen sind.
- Komplexe Abfragen. Fragen mit mehreren Bedingungen, etwa der Umsatz nach Kundensegment, nur für Stammkunden.
- Mehrstufige Abläufe. Längere Aufgaben, zum Beispiel erst eine Daten-Pipeline aufbauen und daraus ein Diagramm erstellen.
Dieselben Fragen in derselben Reihenfolge
Jedes Modell bekam genau dieselben Fragen in genau derselben Reihenfolge. Zwischen den Modellen haben wir nichts verändert. Nur so lassen sich die Ergebnisse vergleichen, und kein Modell hat einen Vorteil.
Eingebaute Fallen
Zwischen den Fragen haben wir kleine Prüfungen versteckt. Sie zeigen, was ein Modell tut, wenn etwas nicht ganz stimmt:
- Dieselbe Frage, zweimal gestellt. Schaut das Modell noch einmal in die Daten, oder wiederholt es eine alte Antwort aus dem Gedächtnis?
- Ein Dateiname in falscher Groß- und Kleinschreibung. Prüft das Modell, ob die Datei existiert, oder verlässt es sich einfach auf unsere Angabe?
- Eine bewusst gewählte Reihenfolge der Fragen. Rutscht ein Filter aus einer früheren Frage in eine spätere, die nichts damit zu tun hat?
Sechs Kriterien bei jeder Frage
Bei jeder Antwort haben wir auf sechs Dinge geachtet: Wurde die Aufgabe gelöst? Hat das Modell das richtige Werkzeug genutzt? War das SQL korrekt? Hat es etwas erfunden? Wie sauber war seine Sprache? Und wie schnell hat es geantwortet?
Vertrauen, aber prüfen
Den Chatverlauf allein haben wir nie als Beweis genommen. Ein Modell kann behaupten, etwas getan zu haben, ohne es getan zu haben. Darum haben wir jedes Ergebnis unabhängig davon in der echten Datenbank nachgeprüft.
Danach haben wir den ganzen Test auf einem zweiten, unabhängigen Datensatz wiederholt. So wussten wir, dass das erste Ergebnis kein Zufallstreffer war, der nur zu einem bestimmten Testdatensatz passte.
Insgesamt waren das mehr als zehn Modelle, darunter die zehn Open-Weight-Modelle dieser Reihe, und mehr als 100 Testprojekte.
Was dadurch sichtbar wurde
Wir haben geprüft, was tatsächlich passiert ist, nicht was das Modell behauptet hat. Dadurch zeigten sich Unterschiede, die eine einfache Trefferquote verborgen hätte. Um die geht es in den nächsten Teilen.
Wie es weitergeht
Im nächsten Funken stellen wir die Modelle vor, die wir getestet haben: wer sie entwickelt hat, woher sie kommen und wie groß sie sind.
Zum Weiterlesen
- Hugging Face: The LLM Evaluation Guidebook: aus der Praxis des Teams hinter dem früheren Open LLM Leaderboard. Gut, um zu verstehen, was Benchmarks messen und wo sie an ihre Grenzen kommen.
- OpenAI: Why language models hallucinate: erklärt, warum Modelle lieber raten, als zuzugeben, dass sie etwas nicht wissen. Genau das sollen unsere Fallen sichtbar machen.