blog

Vom Download ins Rechenzentrum: Was „Open-Weight“ wirklich bedeutet

Varsha Vasudev

Serie: Open-Weight-KI für Datenteams: Was wir gelernt haben – Teil 3

„Open Source“, „Open-Weight“, „offenes Modell“: In KI-Nachrichten fallen die drei Begriffe oft im selben Atemzug, als wären sie dasselbe. Sind sie aber nicht. Und wer wissen will, wohin die eigenen Daten gehen, sollte den Unterschied kennen.

Was ist ein „Gewicht“?

Im Kern ist ein KI-Modell eine riesige Sammlung von Zahlen. Diese Zahlen heißen Gewichte (englisch weights) oder Parameter. In ihnen steckt alles, was das Modell im Training gelernt hat, und sie machen aus eurer Frage eine Antwort.

Bei einem geschlossenen Modell bleiben die Gewichte beim Anbieter. Ihr schickt eure Frage auf seinen Server und bekommt eine Antwort zurück. Was dazwischen passiert, seht ihr nicht.

Bei einem Open-Weight-Modell sind die Gewichte veröffentlicht. Ihr könnt sie herunterladen und das Modell selbst betreiben.

Die Gewichte ziehen bei euch ein Eine offene Kiste, aus der Zahlen in ein Server-Rack strömen: die Gewichte eines Modells auf dem Weg ins eigene Rechenzentrum. Die Zahlen sind Beispielwerte. OPEN-WEIGHT-KI FÜR DATENTEAMS · TEIL 3 VOM DOWNLOAD INS RECHENZENTRUM Die Gewichte ziehen bei euch ein VERÖFFENTLICHTE GEWICHTE -0.05 -0.82 -0.68 0.16 0.21 -0.47 0.46 -0.39 GEWICHTE (BEISPIELWERTE) EUER SERVER ODER EUER HOSTER Die Gewichte ziehen bei euch ein Eine offene Kiste, aus der Zahlen in ein Server-Rack strömen: die Gewichte eines Modells auf dem Weg ins eigene Rechenzentrum. Die Zahlen sind Beispielwerte. OPEN-WEIGHT-KI FÜR DATENTEAMS TEIL 3 VOM DOWNLOAD INS RECHENZENTRUM Die Gewichte ziehen bei euch ein VERÖFFENTLICHTE GEWICHTE -0.05 -0.82 -0.68 0.16 0.21 -0.47 GEWICHTE (BEISPIELWERTE) EUER SERVER ODER EUER HOSTER
Im Bild: Beispielwerte. Ein echtes Modell hat Milliarden davon.

Open-Weight ist nicht dasselbe wie Open Source

Open Source im vollen Sinn heißt: Ihr könnt nachvollziehen, wie das Modell entstanden ist. Dazu gehören der Code, genaue Angaben zu den Trainingsdaten und eine Lizenz, die freie Nutzung, Veränderung und Weitergabe erlaubt. So beschreibt es auch die Open Source Initiative in ihrer Definition für Open-Source-KI.

Open-Weight ist enger gefasst. Ihr bekommt das fertige Modell, aber nicht unbedingt die Trainingsdaten oder das ganze Rezept. „Offenes Modell“ ist der unschärfste Begriff von allen und kann beides meinen.

Für ein Team, das ein Modell auf eigener Infrastruktur betreiben will, zählen vor allem die Gewichte. Dazu kommt die Lizenz, und die unterscheidet sich von Modell zu Modell. Manche schränken etwa die kommerzielle Nutzung ein oder sehr große Einsätze. Das klingt nach Kleingedrucktem, ist aber wichtig: Lest die Lizenz, bevor ihr etwas darauf aufbaut.

Was bedeutet Self-Hosting?

In Teil 2 haben wir zwei Wege beschrieben, ein Modell zu nutzen. Self-Hosting ist der zweite: Ihr betreibt das Modell selbst oder lasst es von einem Hoster eurer Wahl betreiben, auf Servern mit genug Rechenleistung. Das können eigene Server sein, gemietete GPU-Server bei einem Cloud-Anbieter oder ein Hoster an einem Standort, der zu euren Datenschutzanforderungen passt.

Was ihr dafür bekommt, ist Kontrolle. Ihr entscheidet, wo das Modell läuft, wer Zugriff hat und ob es sich überhaupt ändert. Umsonst ist das nicht: Jemand muss das Modell einrichten, am Laufen halten und die Kosten im Blick behalten.

Warum die Größe zählt

Open-Weight-Modelle gibt es in sehr unterschiedlichen Größen. Die zehn Modelle aus unseren Tests reichten von etwa 20 Milliarden bis 2,8 Billionen Parametern. Das größte ist also mehr als hundertmal so groß wie das kleinste.

Und die Größe bestimmt, wie aufwendig der Betrieb wird. Die Faustregel: Die Gewichte müssen in den Speicher passen. Auf 4 Bit komprimiert belegt jeder Parameter etwa ein halbes Byte. Ein Beispiel aus der Praxis: Googles Gemma 4 mit rund 31 Milliarden Parametern braucht in der 4-Bit-Fassung etwa 19 GB, so steht es im technischen Bericht zu Gemma 4. Mit derselben groben Rechnung kommt ein Modell mit rund 740 Milliarden Parametern auf etwa 370 GB, eines mit 2,8 Billionen auf etwa 1,4 TB. Das ist nur der Platz für die Gewichte. Im Betrieb braucht das Modell noch mehr, etwa für den Text, den es gerade verarbeitet.

Zum Vergleich: Eine große Rechenzentrums-GPU wie die H100 von NVIDIA hat rund 80 GB Speicher. Die größten Modelle brauchen also viele davon im Verbund.

Wie viel Speicher braucht ein Modell? Balkendiagramm: Speicher für die Gewichte bei 4-Bit-Komprimierung. Etwa 10 GB bei 20 Milliarden Parametern, 19 GB bei 31 Milliarden, 370 GB bei 740 Milliarden und 1,4 TB bei 2,8 Billionen. Eine Rechenzentrums-GPU hat 80 GB. SPEICHER FÜR DIE GEWICHTE · 4-BIT-KOMPRIMIERUNG Wie viel Speicher braucht ein Modell? 0 300 GB 600 GB 900 GB 1,2 TB 1,5 TB ~20 Milliarden ~10 GB ~31 Milliarden ~19 GB ~740 Milliarden ~370 GB ~2,8 Billionen ~1,4 TB Eine Rechenzentrums-GPU: 80 GB Nur die Gewichte, im Betrieb kommt Speicher für den Kontext dazu. 31B-Wert: Gemma 4 Technical Report, übrige: Parameter × 0,5 Byte. Wie viel Speicher braucht ein Modell? Balkendiagramm: Speicher für die Gewichte bei 4-Bit-Komprimierung. Etwa 10 GB bei 20 Milliarden Parametern, 19 GB bei 31 Milliarden, 370 GB bei 740 Milliarden und 1,4 TB bei 2,8 Billionen. Eine Rechenzentrums-GPU hat 80 GB. SPEICHER FÜR DIE GEWICHTE 4-BIT-KOMPRIMIERUNG Wie viel Speicher braucht ein Modell? Eine Rechenzentrums-GPU: 80 GB ~20 Milliarden ~10 GB ~31 Milliarden ~19 GB ~740 Milliarden ~370 GB ~2,8 Billionen ~1,4 TB 0 750 GB 1,5 TB Nur die Gewichte, im Betrieb kommt Speicher für den Kontext dazu. 31B-Wert: Gemma 4 Technical Report, übrige: Parameter × 0,5 Byte.
Ungefährer Speicherbedarf für die Gewichte unterschiedlich großer Modelle bei 4-Bit-Komprimierung. Maßstabsgetreu.

Einen kleinen Trick nutzen viele der größten Modelle trotzdem: Sie sind als „Mixture-of-Experts“ gebaut. Für jede Anfrage arbeitet dabei nur ein Teil des Modells, deshalb antworten sie schneller, als ihre Größe vermuten lässt. Am Speicher ändert das nichts: Geladen werden muss trotzdem das ganze Modell.

Was solltet ihr also wählen?

Das hängt von eurer Aufgabe ab. Ein kleineres Modell ist günstiger und leichter zu betreiben. Ein größeres kann manche Aufgaben besser lösen, braucht dafür aber deutlich mehr Infrastruktur. Ob sich der Aufwand lohnt, haben wir mit echten Modellen ausprobiert. Was dabei herauskam, zeigen wir in den nächsten Teilen.

Wie es weitergeht

Im nächsten Funken erklären wir, wie wir die Modelle getestet haben: welche Fragen wir gestellt haben, in welchen Schwierigkeitsstufen und wie wir jede Antwort mit den echten Daten abgeglichen haben.

Dieser Beitrag dient der Information und ist keine Rechtsberatung. Was eine Lizenz für euren Einsatz bedeutet, klärt bitte mit eurer Rechtsabteilung.

Zum Weiterlesen

← Funkenflug