Lokale KI oder Cloud: Was dafür spricht und was dagegen

Betriebe aus der Region fragen mich immer öfter, ob KI auch ohne Cloud geht, zuletzt eine Anwaltskanzlei. Ich habe mir das deshalb genauer angesehen: Rechtslage, Kosten und Technik. Hier steht beides nebeneinander, was dafür spricht und was dagegen, mit Quellen zum Nachlesen.

Vorweg, damit Sie das einordnen können: Ich verkaufe beides. botfabrik ist Vertriebspartner von Langdock, einer KI-Plattform in EU-Rechenzentren, und ich richte auf Wunsch auch KI auf eigener Hardware ein.

Was mit lokaler KI gemeint ist

Ein kompakter Rechner im Büro oder Serverraum, etwa ein Mac mini mit 64 GB Arbeitsspeicher oder ein KI-Rechner mit 128 GB. Darauf läuft ein offenes Sprachmodell, das die Beschäftigten im Browser nutzen, ähnlich wie ChatGPT. Eine gemietete Grafikkarte in einem Rechenzentrum ist in diesem Sinn nicht lokal, denn dort liegen die Daten wieder bei einem Anbieter.

Die Zurückhaltung hat Gründe. Von den Unternehmen ab zehn Beschäftigten, die über KI nachgedacht haben, sie aber noch nicht nutzen, nennen laut Statistischem Bundesamt 60 Prozent Bedenken beim Datenschutz und 62 Prozent Unklarheit über die rechtlichen Folgen. Genutzt wird KI trotzdem: In 42 Prozent der Unternehmen ab 20 Beschäftigten ist bekannt oder wird vermutet, dass Beschäftigte private KI-Dienste für die Arbeit nutzen. Das ergab eine Bitkom-Umfrage.

Was für lokale KI spricht

Die Daten bleiben im Haus. Es gibt keine Übermittlung in Drittländer und keine Kette aus Rechenzentrum, Plattform und Modellanbieter. Für Kanzleien, Praxen und Steuerberater ist das mehr als ein Gefühl: Wer als Berufsgeheimnisträger externe Dienstleister hinzuzieht, die dabei an Geheimnisse kommen können, muss sie zur Verschwiegenheit verpflichten. Sonst macht er sich nach § 203 StGB selbst strafbar, wenn ein Dienstleister etwas unbefugt weitergibt. Bei einer Box im Haus betrifft das im Wesentlichen nur noch den Dienstleister, der die Box betreut, und die Leute, die er selbst hinzuzieht. Der europäische Anwaltsdachverband CCBE nennt den Betrieb im eigenen Haus in seinem Leitfaden von 2026 die sicherste Option für die Vertraulichkeit.

Sie hängen nicht an Entscheidungen anderer. Im Juni 2026 hat Anthropic sein neues Modell Fable 5 drei Tage nach dem Start weltweit gesperrt. Anlass waren Exportkontrollen der US-Regierung, wie heise berichtete. Erst seit dem 1. Juli ist es wieder verfügbar. Knapp drei Wochen lang konnte es niemand nutzen. Ein Modell auf dem eigenen Rechner bleibt, bis Sie es selbst austauschen.

Die Kosten sind planbar. Nach der Anschaffung zahlen Sie einen monatlichen Betrag für die Betreuung, der nicht davon abhängt, wie viel die Leute fragen. Cloud-Preise ändern sich dagegen von außen, Microsoft etwa hat Microsoft 365 Business Standard zum 1. Juli 2026 um 12 Prozent verteuert.

Und die Box läuft auch, wenn das Internet weg ist oder ein Cloud-Dienst ausfällt, wie Microsoft 365 samt Copilot Ende August 2026.

Was gegen lokale KI spricht

Die Qualität liegt hinter der Spitze. Modelle, die auf eine einzelne Grafikkarte passen, erreichen laut einer Auswertung von Epoch AI vom August 2025 etwa den Stand, den die besten Modelle vor sechs bis zwölf Monaten hatten. Für Zusammenfassungen, Mailentwürfe und die Suche in eigenen Dokumenten reicht das. Bei langen Ketten von Arbeitsschritten, in denen die KI selbstständig Programme bedient, kommt es stark auf das einzelne Modell an. Im Test tau2-bench erreicht das offene Modell gpt-oss-120b 65,8 Prozent, das kleinere offene Modell GLM-4.7-Flash dagegen 98,8 Prozent, etwa so viel wie die besten Modelle. Ob ein Modell Ihre Aufgaben schafft, zeigt deshalb erst ein Test mit Ihren eigenen Beispielen. Websuche, Bildgenerierung und die Einbindung in Office, wie sie Copilot bietet, gibt es lokal nicht in derselben Form.

Bei wenigen Nutzern ist lokal teurer. In meiner Rechnung für zehn Nutzer über drei Jahre sind bei allen drei Wegen Einrichtung und Betreuung durch einen Dienstleister enthalten, zu meinen eigenen Planpreisen. Eine lokale Lösung auf einem Mac mini kommt so auf rund 18.100 Euro netto. Langdock im Jahresabo liegt bei rund 16.300 Euro, davon rund 8.400 Euro für die Lizenzen. Das offene Modell, das auch auf der Box läuft, kostet über eine deutsche Cloud-Schnittstelle rund 9.300 Euro, davon rund 300 Euro für die Nutzung selbst und rund 1.100 Euro für einen kleinen Server mit der Chat-Oberfläche. Günstiger als Langdock ist lokal in meiner Rechnung nur bei etwa 22 bis 25 Nutzern, mit einem KI-Rechner mit 128 GB. Für deutlich mehr Nutzer braucht es eine Workstation, und dann ist Langdock wieder günstiger. Dazu kommt, dass Hardware gerade teurer wird: Der Mac mini kostet in der Grundausstattung 50 Prozent mehr als Ende 2024.

Jemand muss sich kümmern. Die Software bekommt ständig Updates, Sicherheitslücken kommen vor, Datensicherung und ein Plan für den Ausfall gehören dazu. Wie es ohne Pflege aussieht, zeigt eine Auswertung vom Januar 2026: Forscher fanden rund 175.000 Ollama-Server offen im Internet. Ollama ist eines der verbreitetsten Programme, um Sprachmodelle selbst zu betreiben.

Die Pflichten bleiben. Wer die Box aus der Ferne wartet und dabei Daten sehen könnte, ist Auftragsverarbeiter, es braucht also einen Vertrag nach Artikel 28 DSGVO. Das steht so im Kurzpapier der Datenschutzkonferenz. Bei Kanzleien braucht auch der Betreuer einen Vertrag mit Verschwiegenheitspflicht nach § 43e BRAO. Und die KI irrt lokal genauso wie in der Cloud. Das Amtsgericht Köln hat 2025 einen Schriftsatz gerügt, dessen Rechtsausführungen und Fundstellen frei erfunden und offenbar mit KI erzeugt waren. Prüfen muss am Ende immer ein Mensch.

Die Cloud ist nicht verboten

Auch Anwälte dürfen Cloud-KI nutzen. Der Deutsche Anwaltverein hält das für zulässig, wenn der Anbieter nach § 43e BRAO sorgfältig ausgewählt und vertraglich zur Verschwiegenheit verpflichtet ist. Die Bundesrechtsanwaltskammer ist strenger. In ihren Hinweisen vom Dezember 2024 hält sie es bei Sprachmodellen wie ChatGPT nicht für erforderlich, Mandatsgeheimnisse zu übermitteln. Anfragen sollen möglichst keinen Rückschluss auf ein bestimmtes Mandat zulassen, Dokumente sollen möglichst vorher vollständig anonymisiert sein. Außerdem empfiehlt die BRAK Anbieter mit Servern in Deutschland oder Europa. Wer Ihnen erzählt, Cloud-KI sei für Ihren Betrieb grundsätzlich verboten, übertreibt.

Für wen was passt

Lokale KI lohnt sich eher, wenn

• Sie Berufsgeheimnisse verarbeiten, etwa als Kanzlei, Praxis oder Steuerberatung,
• Kalkulationen und Konstruktionsdaten nicht nach außen dürfen oder Sie Ihren Kunden Geheimhaltung zugesagt haben,
• um die 20 bis 25 Leute damit arbeiten, denn dann ist ein Rechner mit 128 GB auch günstiger als die Cloud,
• Sie nicht von den Entscheidungen eines Anbieters abhängen wollen.

Eine EU-Cloud wie Langdock passt besser, wenn

• Ihr Team klein ist und keine besonders vertraulichen Daten verarbeitet,
• Sie die beste verfügbare Qualität, Websuche oder Agenten brauchen,
• sich niemand um ein Gerät im Haus kümmern soll.

Für viele Betriebe dürfte es auf beides hinauslaufen. Sortiert wird dann nach Daten: Mandantenakten, Patientenunterlagen und Kalkulationen bleiben auf dem Rechner im Haus, Social-Media-Texte und allgemeine Recherche dürfen in die EU-Cloud.

Wenn Sie wissen wollen, welcher Weg zu Ihren Daten passt, schreiben Sie mir an hendrik@botfabrik.ai oder rufen Sie an, 03591 6790765. Ich sage Ihnen auch, wenn die Cloud für Sie reicht.

Quellen

1. Statistisches Bundesamt: Gründe gegen den Einsatz von KI in Unternehmen 2025. https://www.destatis.de/DE/Themen/Branchen-Unternehmen/Unternehmen/IKT-in-Unternehmen-IKT-Branche/Tabellen/ikti-gegen-nutzung-kuenstliche-intelligenz.html
2. Bitkom: Beschäftigte nutzen vermehrt Schatten-KI, 21.10.2025. https://www.bitkom.org/Presse/Presseinformation/Beschaeftigte-nutzen-Schatten-KI
3. § 203 StGB, Verletzung von Privatgeheimnissen. https://www.gesetze-im-internet.de/stgb/__203.html
4. CCBE: Technical guide on the use of AI tools and models by lawyers, 2026. https://www.ccbe.eu/fileadmin/speciality_distribution/public/documents/IT_LAW/ITL_Guides_recommendations/EN_ITL_20260327_CCBE-technical-guide-on-the-use-of-AI-tools-and-models-by-lawyers.pdf
5. heise online: US-Regierung erzwingt Abschaltung von Anthropics KI Fable 5 und Mythos 5. https://www.heise.de/news/US-Regierung-erzwingt-Abschaltung-von-Anthropics-KI-Fable-5-und-Mythos-5-11331129.html
6. Anthropic: Redeploying Fable 5. https://www.anthropic.com/news/redeploying-fable-5
7. Microsoft: Microsoft 365 packaging and pricing updates 2026. https://www.microsoft.com/en-us/licensing/news/2026-m365-packaging-pricing-updates
8. TechCrunch: Microsoft 365 outage drags on, 01.09.2026. https://techcrunch.com/2026/09/01/microsoft-365-outage-drags-on-but-things-are-improving/
9. Epoch AI: Consumer GPU model gap, 15.08.2025. https://epoch.ai/data-insights/consumer-gpu-model-gap
10. BenchLM: tau2-bench. https://benchlm.ai/benchmarks/tau2-bench
11. Langdock: Preise, abgerufen am 23.09.2026. https://www.langdock.com/de/pricing
12. IONOS Cloud: Preisliste AI Model Hub. https://docs.ionos.com/cloud/support/general-information/price-list/ionos-cloud-gmbh-de
13. ComputerBase: Apple zieht Preis des Mac mini um 50 Prozent an. https://www.computerbase.de/news/pc-systeme/preiserhoehungen-apple-zieht-preis-des-mac-mini-um-50-prozent-an.99124/
14. The Hacker News: Researchers find 175,000 publicly exposed Ollama servers, 29.01.2026. https://thehackernews.com/2026/01/researchers-find-175000-publicly.html
15. Datenschutzkonferenz: Kurzpapier Nr. 13, Auftragsverarbeitung. https://www.datenschutzkonferenz-online.de/media/kp/dsk_kpnr_13.pdf
16. § 43e BRAO, Inanspruchnahme von Dienstleistungen. https://www.gesetze-im-internet.de/brao/__43e.html
17. AG Köln, Beschluss vom 02.07.2025, 312 F 130/25. https://nrwe.justiz.nrw.de/ag_koeln/j2025/312_F_130_25_Beschluss_20250702.html
18. Bundesrechtsanwaltskammer: Hinweise zum Einsatz von künstlicher Intelligenz, Stand Dezember 2024. https://www.brak.de/fileadmin/service/publikationen/Handlungshinweise/BRAK_Leitfaden_mit_Hinweisen_zum_KI-Einsatz_Stand_12_2024.pdf
19. Deutscher Anwaltverein: Stellungnahme 32/2025 zum Einsatz von KI in der Anwaltschaft. https://anwaltverein.de/newsroom/sn-32-25-einsatz-von-ki-in-der-anwaltschaft

Stand: 23. September 2026. Preise und Rechtslage ändern sich, die Kostenrechnung beruht auf meinen eigenen Annahmen. Die rechtlichen Hinweise sind allgemeine Information und keine Rechtsberatung.