Stellen Sie sich einen Vertriebsleiter vor, der einen vierzigseitigen Rahmenvertrag in fünf Punkten zusammengefasst haben möchte. Ein Chatbot im Browser schafft das in einer Minute. Nur darf der Vertrag dort nicht hinein, er enthält Preise, Namen und Fristen. Dann sagt jemand aus der IT: „Wir könnten so ein Modell auch bei uns laufen lassen.“
Das klingt nach der eleganten Lösung, und oft ist es eine gute. Aber „lokal“ ist kein Gütesiegel, sondern eine Bauweise. Was dahintersteckt, sollten Sie verstehen, bevor Sie Hardware kaufen.
Datenschutz ist die größte Hürde
Der Digitalverband Bitkom hat im Sommer 603 Unternehmen ab 20 Beschäftigten befragt. Laut der Pressemitteilung vom 14. September (öffnet neuen Tab) nennen Unternehmen, die KI schon einsetzen, als häufigstes Problem die Anforderungen an den Datenschutz, mit 66 Prozent. Außerdem nennen 56 Prozent rechtliche Verunsicherung und 45 Prozent die Sorge, dass Unternehmensdaten in falsche Hände gelangen. Bitkom-Präsident Ralf Wintergerst bringt es auf den Punkt: „Vor dem Einstieg ist vor allem die Technologie das Problem, wer KI im Haus hat, ringt mit Datenschutz und der Frage, was erlaubt ist“.
Lokale Modelle gelten als Antwort darauf. Um zu verstehen, wann sie das wirklich sind, hilft ein Blick unter die Haube.
Was „lokal“ eigentlich heißt
Ein Sprachmodell, also die Technik hinter Chatbots wie ChatGPT, ist im Kern eine riesige Sammlung von Zahlen, die es beim Training gelernt hat. Fachleute nennen sie Gewichte. Damit daraus eine Antwort wird, muss ein Rechner mit diesen Zahlen rechnen, Stück für Stück, bis die Antwort steht. Dieses Berechnen heißt Inferenz.
Bei den bekannten Chatbots passiert die Inferenz im Rechenzentrum des Anbieters. Ihre Eingabe reist dorthin, die Antwort kommt zurück. Inzwischen stellen aber viele Hersteller die Gewichte ihrer Modelle zum Herunterladen bereit. Selbst OpenAI, das Unternehmen hinter ChatGPT, bietet mit gpt-oss zwei solche Modelle unter der freien Lizenz Apache 2.0 an. Mit einem passenden Programm rechnet dann Ihr eigener Rechner. Die Eingabe bleibt, wo sie ist.
Die stärksten Modelle gehören allerdings nicht dazu. Bei ihnen läuft die Inferenz immer in der Cloud des Anbieters oder seiner Partner, wie das Portal nbreview in seinem Überblick zu lokalen Modellen (öffnet neuen Tab) festhält. Wer lokal arbeitet, wählt also aus einer anderen, kleineren Liga.
Was die Datenschützer sagen
Die Datenschutzkonferenz, das gemeinsame Gremium der deutschen Datenschutzaufsichtsbehörden, unterscheidet in ihrer Orientierungshilfe „Künstliche Intelligenz und Datenschutz“ (öffnet neuen Tab) zwischen geschlossenen und offenen Systemen. Bei geschlossenen Systemen läuft die Verarbeitung „in einer eingegrenzten und technisch abgeschlossenen Umgebung“. Nur ein eng begrenzter Kreis hat Zugriff, und die Eingaben werden nicht vom Anbieter zum weiteren Training verwendet. Bei offenen Systemen, etwa einer Cloud-Lösung, verlassen die Eingaben dagegen den geschützten Bereich der Nutzenden. Das Fazit der Behörden ist knapp: „Technisch geschlossene Systeme sind daher aus datenschutzrechtlicher Sicht vorzugswürdig.“
Ein lokales Modell ist der direkteste Weg zu einem geschlossenen System. Es ist aber nicht der einzige Weg, und es ist nicht automatisch einer.
Lokal heißt noch nicht datensicher
Die Gewichte selbst senden nichts. Das Programm, das sie ausführt, kann es aber. Ein Beispiel: Ollama, ein für den lokalen Betrieb kostenloses Programm zum Ausführen von Modellen, bietet neben lokalen auch Cloud-Modelle an. Bei diesen läuft die Berechnung laut Dokumentation (öffnet neuen Tab) auf dem Cloud-Dienst von Ollama, also nicht auf Ihrem Rechner. Laut Datenschutzerklärung (öffnet neuen Tab) können Daten dabei auch in den USA verarbeitet werden. Ollama lässt sich in einen reinen Lokalbetrieb (öffnet neuen Tab) schalten. Dann fallen die Cloud-Modelle und die eingebaute Websuche weg.
Das ist kein Vorwurf an dieses Programm, viele Werkzeuge verbinden lokale und Online-Funktionen. Es zeigt nur, worauf es ankommt: Ob Daten das Haus verlassen, entscheidet nicht das Modell, sondern alles, was darum herum eingerichtet ist. Zusatzfunktionen wie Websuche, automatische Updates und die Frage, wer im Haus auf den Rechner zugreifen kann, gehören dazu.
Wofür es reicht und wo es hakt
Gute Kandidaten sind Aufgaben mit klar umrissenem Material: Texte zusammenfassen, interne Dokumente durchsuchen, Entwürfe vorbereiten. Dabei stoßen Sie auf drei Grenzen.
Qualität. Die lokal lauffähigen Modelle liegen in Vergleichstests hinter den Spitzenmodellen der großen Anbieter. Ob das für Ihre Aufgabe reicht, zeigt laut nbreview „am besten ein Test mit eigenen Dokumenten“. Ranglisten helfen bei dieser Frage wenig, Ihre eigenen Aufgaben schon.
Hardware. Entscheidend ist der Speicher, denn das Modell muss beim Rechnen hineinpassen. Das kleinere gpt-oss-Modell kommt laut Modellkarte (öffnet neuen Tab) mit 16 GB Speicher aus. Das größere läuft laut Modellkarte (öffnet neuen Tab) auf einer einzelnen Grafikkarte mit 80 GB Speicher. Dazu kommt der Preis: Arbeitsspeicher ist laut nbreview „so teuer wie lange nicht“.
Betrieb. Ein lokales Modell ist ein System, das jemand pflegen muss: Updates einspielen, neue Modellversionen prüfen, Zugriffe verwalten. Auch die Verantwortung liegt dann bei Ihnen. Wer eine KI-Anwendung ausschließlich zu eigenen Zwecken auf eigenen Servern betreibt, ist laut Datenschutzkonferenz „in der Regel auch als alleiniger Verantwortlicher anzusehen“. Beim Cloud-Dienst übernimmt der Anbieter den technischen Betrieb, im eigenen Haus müssen Sie ihn selbst stemmen.
Was Sie heute tun können
- Daten sortieren. Klären Sie, welche Daten Ihr Haus nicht verlassen dürfen und welche schon. Die Datenschutzkonferenz weist darauf hin, dass Einsatzfelder ganz ohne personenbezogene Daten nicht dem Datenschutzrecht unterliegen. Sie mahnt aber zur gründlichen Prüfung, weil sich ein Personenbezug aus vielen Merkmalen ergeben kann, nicht nur aus Namen und Adressen. Lokal lohnt sich vor allem dort, wo die heiklen Daten liegen.
- Klein anfangen und mit eigenen Dokumenten testen. Ein kleines Modell auf einem Rechner mit genug Speicher reicht für einen ersten Eindruck. Nehmen Sie echte, typische Aufgaben, keine Vorführbeispiele.
- Den Datenverkehr prüfen lassen. Ihre IT sollte nachsehen, welche Verbindungen das Programm nach außen aufbaut. Schalten Sie Cloud-Funktionen ab, die Sie nicht brauchen.
- Den Betrieb klären. Wer spielt Updates ein, wer darf auf den Rechner zugreifen, unter welcher Lizenz steht das Modell? Ohne einen Namen hinter diesen Fragen wird aus dem Pilotprojekt schnell ein vergessener Rechner im Serverraum.
- Den Datenschutz früh an den Tisch holen. Die Datenschutzkonferenz empfiehlt, betriebliche Datenschutzbeauftragte stets einzubinden, wenn Entscheidungen über KI-Anwendungen vorbereitet werden. Auch die Beteiligung des Betriebsrats sei zu prüfen.
Lokale KI ist weder Allheilmittel noch Bastelprojekt. Sie ist eine Bauweise, die zu manchen Aufgaben sehr gut passt und zu anderen gar nicht. Wenn Sie mit Ihrem Team klären möchten, welche Aufgaben bei Ihnen auf den eigenen Rechner gehören und welche nicht, schreiben Sie mir: mail@nico-kuechler.de.
Quellen
- Bitkom: Erstmals nutzt eine Mehrheit der Unternehmen KI. Presseinformation vom 14.09.2026, bitkom.org (öffnet neuen Tab). Telefonische Befragung von 603 Unternehmen ab 20 Beschäftigten durch Bitkom Research, KW 28 bis 33 2026.
- Konferenz der unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder (DSK): Orientierungshilfe Künstliche Intelligenz und Datenschutz, Version 1.0 vom 6. Mai 2024, Randnummern 4, 15 bis 20, 31 und 32, datenschutzkonferenz-online.de (öffnet neuen Tab).
- nbreview: Lokale KI-Modelle 2026. Fortlaufender Report, Stand 3. Oktober 2026, nbreview.de (öffnet neuen Tab).
- Ollama: Dokumentation zu Cloud-Modellen und FAQ, docs.ollama.com/cloud (öffnet neuen Tab), docs.ollama.com/faq (öffnet neuen Tab), sowie Datenschutzerklärung, ollama.com/privacy (öffnet neuen Tab). Abgerufen am 15.11.2026.
- OpenAI: Modellkarten gpt-oss-20b und gpt-oss-120b auf Hugging Face, huggingface.co/openai/gpt-oss-20b (öffnet neuen Tab), huggingface.co/openai/gpt-oss-120b (öffnet neuen Tab). Abgerufen am 15.11.2026.
