Die 9 besten lokalen KI-Modelle für eigene Hardware

Die interessante Frage ist selten „welches offene Modell ist das beste“. Sie lautet: welches ist das beste, das noch in meinen Speicher passt. Dort entscheidet sich die Sache nämlich. Ein Modell, das nicht vollständig in den Grafikspeicher passt, fällt auf die CPU zurück und wird um Größenordnungen langsamer.

Deshalb ist diese Liste nach Speicherklassen sortiert und nicht als Rangliste. Sechs Hardware-Stufen von 8 GB bis Server-Rack, dazu drei Sonderfälle: bestes Deutsch, bester Code und die europäische Frage. Alle Zahlen stammen aus unserem Modell-Katalog, der aktuell 48 offene Modelle gegen ihre offiziellen Modellkarten prüft. Wer lieber von der eigenen Hardware aus sucht statt von der Modellliste, gibt sie im Hardware-Rechner ein und bekommt dieselbe Auswahl gefiltert. Ob sich der Eigenbetrieb überhaupt lohnt, ist eine Stufe davor entschieden und steht im Leitfaden zu lokalen KI-Modellen.

Die Kurzfassung

Klasse	Empfehlung	Speicher	Lizenz	Deutsch
8 GB	Qwen3-VL 8B	7,5 GB	Apache 2.0	gut
16 GB	gpt-oss 20B	16 GB	Apache 2.0	gut
24 GB	Qwen3.6 27B	18 GB	Apache 2.0	stark
48 GB	Llama 3.3 70B	43 GB	Llama Community	gut
96 GB	Mistral Medium 3.5 128B	75 GB	Modified MIT	stark
Server	Kimi K3	1.560 GB	Kimi K3 License	gut
Deutsch	Gemma 4 31B	20 GB	Apache 2.0	stark
Code	Devstral Small 2 24B	16 GB	Apache 2.0	gut
Europa	Teuken 7B, EuroLLM 9B	6 bis 7,5 GB	Apache 2.0	stark

Jeder Name führt zur offiziellen Modellkarte. Dort liegen die Gewichte zum Herunterladen, die Lizenz im Volltext und die Angaben, gegen die unser Katalog prüft. Wer das Modell danach nur laufen lassen will, zieht es mit einer Zeile über Ollama oder LM Studio.

Wie wir ausgewählt haben

Das gehört offengelegt, sonst ist eine solche Liste nichts wert.

Der Speicherbedarf gilt für die Quantisierungsstufe Q4_K_M, den Standard in Ollama und LM Studio, samt einem Kontextfenster von etwa 8K. Als Faustregel stecken dahinter rund 0,55 GB je Milliarde Parameter, von Hand gerundet. Zwei Familien fallen aus der Rechnung, weil sie nativ in MXFP4 trainiert sind statt nachträglich quantisiert zu werden: Bei gpt-oss gilt das Minimum des Herstellers, bei Kimi K3 das Gewicht der veröffentlichten Dateien, weil Moonshot nie eines genannt hat.

Bei Mixture-of-Experts-Modellen zählt für den Speicher die Gesamtzahl der Parameter, denn alle Experten müssen geladen sein. Für das Tempo zählen nur die aktiven. Genau daher kommt der Geschwindigkeitsvorteil dieser Modelle bei gleicher Größe.

Die Fähigkeits-Einstufung ist redaktionell. Der Katalog führt je Modell einen Wert von 0 bis 100, mit dem er sortiert, welches Modell ein Speicherbudget maximal tragen kann. Das ist kein gemessener Benchmark, sondern eine begründete Einordnung. Wo zwei Modelle dicht beieinander liegen, entscheidet in diesem Artikel deshalb nicht der Wert allein, sondern Deutsch und Lizenz. Wo das passiert, steht es dabei. Als unabhängige Gegenprobe führt die Modell-Datenbank zusätzlich die ELO-Wertung aus der LMArena, wo anonymisierte Modelle im Blindvergleich gegeneinander antreten und echte Nutzer entscheiden. Wer lieber gemessene Werte sieht als Abstimmungen, findet bei Artificial Analysis dieselben offenen Modelle mit Durchsatz, Latenz und Preis je Million Token.

Die harten Fakten (Parameter, natives Kontextfenster, Lizenz) stehen gegen die offizielle Modellkarte des Herstellers, jede mit eigenem Prüfdatum. Stand dieser Liste: 6. August 2026.

1. Bis 8 GB: Qwen3-VL 8B

7,5 GB Speicher, Apache 2.0, 256K Kontext, Deutsch gut

Die Einstiegsklasse, also eine gängige Consumer-Grafikkarte oder ein Notebook mit 8 GB Unified Memory. Qwen3-VL 8B liefert hier am meisten Fähigkeit pro Gigabyte: Es versteht Bilder, hält 256.000 Token Kontext und beherrscht Tool-Calling, also den Aufruf externer Funktionen.

Der Vorbehalt: Im Deutschen ist es nur als gut eingestuft, nicht als stark. Wer bei gleichem Speicherbedarf besseres Deutsch braucht und auf Bildverständnis verzichten kann, nimmt Ministral 3 8B. Das ist in dieser Klasse die einzige echte Abwägung.

2. Bis 16 GB: gpt-oss 20B

16 GB Speicher, Apache 2.0, 128K Kontext, Deutsch gut

Ein Mixture-of-Experts-Modell mit 21 Milliarden Parametern, von denen pro Token nur 3,6 Milliarden rechnen. Es ist damit deutlich schneller, als seine Größe vermuten lässt, und bringt abstufbare Reasoning-Tiefe mit. Weil es nativ in MXFP4 vorliegt, nennt OpenAI in der Modellkarte 16 GB als Minimum statt der 11,5 GB, die die Faustregel ergäbe. Der Unterschied klingt klein und ist der zwischen einer 12-GB-Karte, die du vielleicht schon hast, und einer neuen.

Hier liegt die knappste Entscheidung der ganzen Liste. Mistral Small 3.1 24B braucht denselben Speicher, liegt in der Einstufung nur einen Punkt darunter, ist aber im Deutschen stark statt gut und kommt aus der EU. Wer überwiegend deutsche Dokumente verarbeitet, sollte in dieser Klasse Mistral Small nehmen.

3. Bis 24 GB: Qwen3.6 27B

18 GB Speicher, Apache 2.0, 256K Kontext, Deutsch stark

Der klarste Sieger im Feld. Qwen3.6 27B lässt in dieser Klasse alles hinter sich, was mehr Speicher verlangt: Gemma 4 31B und Qwen3 32B brauchen 20 bis 21 GB und liegen trotzdem darunter. Dazu Bild- und Videoverständnis, 262.000 Token Kontext, starkes Deutsch, starker Code und Apache 2.0.

Wer heute eine Workstation für lokale KI aufsetzt, landet mit sehr hoher Wahrscheinlichkeit hier. Die 24-GB-Klasse ist der Punkt, an dem lokale Modelle aufhören, ein Kompromiss zu sein. Was oberhalb davon noch geht, zeigt der Abstand zur geschlossenen Spitze: Claude Opus 5 kann Dinge, die kein offenes Modell dieser Größe leistet, nur läuft es eben nicht in deinem Serverraum.

4. Bis 48 GB: Llama 3.3 70B

43 GB Speicher, Llama Community, 128K Kontext, Deutsch gut

Nach reiner Fähigkeit gewinnt Llama 3.3 70B diese Klasse, und das deutlich. Es ist das erste Modell der Liste, das in die Flaggschiff-Klasse reicht.

Nur ist es ein Sieg mit zwei Abzügen. Im Deutschen ist es lediglich gut, und es steht unter der Llama Community License, nicht unter einer freien Lizenz. Das kleinere Qwen3.6 27B aus der Klasse darunter ist im Deutschen stark und Apache 2.0. Für deutschsprachige Dokumentenarbeit ist die Zusatzinvestition in 48 GB damit schwer zu begründen: Man kauft Fähigkeit und zahlt mit Sprachqualität und Lizenzfreiheit.

5. Bis 96 GB: Mistral Medium 3.5 128B

75 GB Speicher, Modified MIT, 256K Kontext, Deutsch stark

Hier löst sich der Konflikt aus Stufe 4 auf. Mistral Medium 3.5 ist das stärkste Modell der Liste, das gleichzeitig starkes Deutsch mitbringt, kommt aus Europa und hält 256.000 Token Kontext.

Drei Alternativen lohnen den Blick, wenn Speicher knapp ist. Mistral Small 4 119B spart bei 70 GB fünf Gigabyte, bleibt im Deutschen stark und steht unter Apache 2.0 statt unter Modified MIT. NVIDIAs Nemotron 3 Super liegt bei denselben 70 GB in der Einstufung sogar darüber und bietet ein Kontextfenster von einer Million Token. gpt-oss 120B passt mit 80 GB auf eine einzelne H100. Die letzten beiden sind im Deutschen aber nur gut.

6. Server-Hardware: Kimi K3

1.560 GB Speicher, Kimi K3 License, 1M Kontext, Deutsch gut

Das größte offen verfügbare Modell überhaupt: 2,8 Billionen Parameter, davon 104 Milliarden aktiv, ein Kontextfenster von einer Million Token. Das ist keine Workstation mehr, das ist ein Server mit mehreren Karten.

An der Speicherzahl hängt der eigentliche Punkt dieser Klasse. 1,56 Terabyte sind rund zwanzig H100-Karten, in der Praxis drei Server mit je acht. Dass pro Anfrage nur 104 Milliarden Parameter rechnen, ändert daran nichts: Ein Mixture-of-Experts-Modell muss jeden Experten geladen halten, die aktive Parameterzahl kauft Tempo und nie eine kleinere Maschine. Wer Server-Hardware wirklich bestückt und nicht das Maximum sucht, kommt mit DeepSeek V4-Pro weiter, das bei 1,6 Billionen Parametern 880 GB verlangt und unter MIT steht. Was der Betrieb von K3 im Monat kostet und ab welchem Volumen sich das gegen eine Schnittstelle rechnet, haben wir einmal durchgerechnet.

7. Bestes Deutsch pro Grafikkarte: Gemma 4 31B

20 GB Speicher, Apache 2.0, 256K Kontext, Deutsch stark

Wenn deutsche Sprachqualität das einzige Kriterium ist und die Hardware bei einer Karte bleiben soll, ist Gemma 4 31B die sichere Wahl. Google hat die Gemma-4-Generation außerdem erstmals unter Apache 2.0 gestellt, während Gemma 3 noch unter den restriktiveren Gemma Terms stand. In der LMArena liegt das 31B-Modell unter den offenen Modellen auf Platz drei, was die redaktionelle Einstufung von außen bestätigt.

In der Fähigkeits-Einstufung liegt es hinter Qwen3.6 27B, das ebenfalls starkes Deutsch bietet und weniger Speicher braucht. Gemma bleibt trotzdem gesetzt, weil es innerhalb der als stark eingestuften Modelle die konstanteste deutsche Formulierung liefert. Wer beide Karten frei hat, sollte sie an eigenen Texten gegeneinander laufen lassen.

8. Für Code: Devstral Small 2 24B

16 GB Speicher, Apache 2.0, 256K Kontext, Deutsch gut

Ein auf Programmierung spezialisiertes Modell von Mistral, ausgelegt auf agentisches Arbeiten über mehrere Schritte statt auf einzelne Code-Schnipsel. Bemerkenswert ist der Speicherbedarf: 16 GB, also dieselbe Klasse wie ein Allrounder.

Wer mehr Hardware hat, findet in Qwen3-Coder-Next (52 GB) und Kimi K2.7 Code (560 GB) stärkere Spezialisten. Für die Größenordnung, die in einem normalen Büro steht, ist Devstral Small 2 der beste Kompromiss aus Können und Speicher. Ein Spezialist ersetzt dabei keinen Allrounder, er kommt daneben: der Grund, warum ein Modell nie reicht.

9. Für Europa: Teuken 7B und EuroLLM 9B, mit Vorbehalt

6 bis 7,5 GB Speicher, Apache 2.0, 4K Kontext, Deutsch stark

Diese beiden gehören in die Liste, weil sie oft gesucht und selten ehrlich beschrieben werden. Teuken 7B stammt aus dem Fraunhofer-Projekt OpenGPT-X, wurde auf dem Jülicher Supercomputer JUWELS trainiert und deckt alle 24 EU-Amtssprachen ab. EuroLLM 9B kommt aus dem EU-finanzierten UTTER-Projekt und deckt 35 Sprachen ab. Beide stehen unter Apache 2.0, beide sind im Deutschen stark.

Und beide haben ein Kontextfenster von 4.096 Token. Das reicht für einen Chat, aber nicht für ein Angebot, einen Vertrag oder ein Protokoll. Bei Teuken kommt hinzu, was in der Modellkarte steht: Der Trainingsdatenstand endet im September 2023. Das Förderprojekt selbst lief am 31. März 2025 aus, nach rund 14 Millionen Euro vom Bundeswirtschaftsministerium. Für Dokumentenarbeit sind beide damit nicht geeignet.

Das ist die unbequeme Stelle: Souveräne europäische Modelle existieren, sie sind sauber lizenziert und sprechen gutes Deutsch. Nur laufen die Anwendungsfälle, für die Unternehmen lokale KI wollen, praktisch alle über 4.096 Token hinaus. Wer Europa im Stack will, bekommt das über die Mistral-Familie, nicht über die Forschungsmodelle. Und wer es über den Betriebsort statt über die Herkunft der Gewichte löst, findet die fünf Fragen an den Anbieter in EU-Hosting und DSGVO.

Die Lizenzfrage ist kleiner als ihr Ruf

„Open Weights heißt eingeschränkt nutzbar“ hält sich hartnäckig. Der Katalog sagt etwas anderes: 34 der 49 Modelle stehen unter Apache 2.0 oder MIT, also unter einer wirklich freien Lizenz. Die Einschränkungen konzentrieren sich auf wenige Familien, vor allem auf Metas Llama Community License und die Gemma Terms der dritten Gemma-Generation.

Für die Praxis heißt das: Die Lizenz ist selten der Engpass, sie ist ein Filter, den man einmal setzt. Wenn nur Apache 2.0 und MIT in Frage kommen, bleiben immer noch zwei Drittel des Feldes übrig, inklusive der Spitze. Wie viel genau, siehst du im Katalog, wenn du den Lizenzfilter auf „frei“ stellst.

Wenn keine dieser neun passt

Diese Liste beantwortet eine bestimmte Frage: das jeweils beste Modell pro Hardware-Klasse. Sie ersetzt weder den Vergleich noch die Grundsatzentscheidung.

Alle 49 Modelle mit Filter nach Speicher, Lizenz, Kontextfenster und Deutsch-Qualität stehen in der Modell-Datenbank. Wer von der Hardware her denkt statt vom Modell, nimmt den Rechner. Ob sich der Eigenbetrieb für dich überhaupt rechnet oder ob EU-Hosting die ruhigere Antwort ist, klärt der Leitfaden zu lokalen KI-Modellen. Was jede Woche neu dazukommt, steht unter Modell der Woche, und was ein Corporate LLM überhaupt von ChatGPT unterscheidet, hier.

Und dann brauchst du es im Arbeitsalltag

Die Frage „lokal oder Cloud“ wird meist gestellt, als wäre sie eine Weiche, an der man sich einmal entscheidet. In der Praxis ist sie eine Zuordnung: Der Vertragsentwurf geht ans lokale Modell, die Recherche an das stärkste, das gerade verfügbar ist.

Genau so ist RelationFlow gebaut. Jedes Modell aus dieser Liste lässt sich als eigener Endpunkt einbinden, über Ollama, OpenRouter oder jede OpenAI-kompatible Schnittstelle, und steht danach in derselben Modellauswahl wie GPT und Claude. Es läuft über deinen eigenen Zugang, zählt gegen kein Token-Budget und ist in jedem Plan enthalten, auch im kostenlosen. Wie das eingerichtet wird, steht in der Dokumentation unter Eigene Modelle (BYOM).

Was das im Alltag ändert: Deine Leute wechseln nicht mehr das Werkzeug, je nachdem wie heikel ein Dokument ist. Sie wählen im selben Chat das Modell, das zur Aufgabe passt, und die Firmendokumente liegen für beide am selben Ort.

Wie das mit deinen eigenen Dokumenten aussieht, zeigt dir die Demo in ein paar Minuten.