Die zwei Probleme hängen zusammen und blockieren sich gegenseitig.

Weil Datenschutz schwierig ist, wird KI vorsichtig eingesetzt. Nur allgemeine Anfragen, keine sensiblen Daten, keine tiefen Integrationen. Das führt dazu, dass KI nie wirklich Teil des Systems wird. Sie bleibt ein Hilfsmittel am Rand.

Und weil KI am Rand bleibt, rechtfertigt sich der Aufwand für echte Prozessintegration nicht. Wozu einen Workflow komplett neu denken, wenn am Ende ein externes Tool angehängt wird, das Datenschutzfragen aufwirft?

Das Ergebnis ist ein Kreislauf. Externe KI ist leistungsfähig, aber datenschutzkritisch. Lokale KI ist datenschutzkonform, gilt aber als kompliziert. Also landet man beim sichersten Kompromiss: ChatGPT für allgemeine Fragen, intern keine tiefen Integrationen.

Der Haken: Hardware, Performance und was sie wirklich kostet

Die häufigste Gegenfrage, wenn ich von lokaler KI erzähle: Ist das überhaupt performant genug?

Meine erste Analyse zeigt: Es kommt stark auf die eingesetzte Hardware an. Und das ist gleichzeitig die größte Stärke und die größte Einschränkung lokaler KI.

Mit einer dedizierten Grafikkarte erreichen lokale Modelle in unabhängigen Benchmarks 30 bis über 100 Tokens pro Sekunde. Zum Vergleich: Ein Mensch liest etwa 4 bis 5 Tokens pro Sekunde. Für Hintergrundautomatisierungen, die E-Mails verarbeiten, Dokumente indexieren oder Berichte erstellen, ist das ausreichend. Für rein CPU-basierte Setups ohne Grafikkarte sinkt die Geschwindigkeit auf 2 bis 20 Tokens pro Sekunde, was für Batch-Prozesse noch funktioniert, für interaktiven Chat aber spürbar langsamer ist als ChatGPT [1, 2].

Die Hardwarekosten sind dabei höher als oft dargestellt. Ein einsatzfähiger lokaler KI-Server für kleine Teams liegt laut aktuellen Markterhebungen bei 2.500 bis 10.000 Dollar für die reine Hardware [3]. Bei produktionstauglichen Setups mit Redundanz, echtem Servergehäuse und ausreichend Leistungsreserven ist der obere Bereich realistischer. Hinzu kommen laufende Stromkosten: Ein dauerhaft betriebener GPU-Server mit rund 300 Watt Dauerverbrauch kostet bei deutschen Strompreisen von ca. 0,30 Euro pro Kilowattstunde rund 800 Euro pro Jahr [eigene Berechnung]. Dazu kommt die Frage, ob der bestehende Serverraum ausreichend klimatisiert ist. Diese Kosten müssen bei jeder ehrlichen Wirtschaftlichkeitsrechnung berücksichtigt werden.

Ich werde in einem späteren Artikel dieser Serie genauer auf Hardware-Szenarien eingehen, konkrete Konfigurationen durchrechnen und meine eigenen Erfahrungen beim Aufsetzen eines lokalen Systems teilen. Was jetzt schon klar ist: Lokale KI ist keine Frage von „ob“, sondern von „womit und für welchen Zweck“.

Was externe KI kostet: eine ehrliche Rechnung

GPT-4o, derzeit eines der meistgenutzten leistungsfähigen KI-Modelle, kostet laut offizieller OpenAI-Preisseite 2,50 Dollar pro Million Input-Tokens und 10 Dollar pro Million Output-Tokens [4]. Ein Token entspricht ungefähr 0,75 Wörtern.

Für ein Unternehmen, das täglich 500 E-Mails mit durchschnittlich 300 Wörtern automatisiert analysiert und verarbeitet, entstehen schnell 150 bis 400 Dollar monatlich, nur für diesen einen Workflow [eigene Berechnung auf Basis der OpenAI-Preise]. Skaliert man das auf mehrere Prozesse und 20 bis 30 aktive Nutzer, liegt man bei 500 bis 1.500 Dollar im Monat. Dazu kommt bei vielen Unternehmen die Copilot-Lizenz, die pro Nutzer und Monat zusätzlich zu den bestehenden Microsoft-365-Kosten berechnet wird.

Lokale KI hat dafür einmalige Hardware- und Einrichtungskosten und danach so gut wie nichts mehr, abgesehen von Strom und gelegentlichem Wartungsaufwand. Der Break-even gegenüber externen API-Kosten liegt je nach Nutzungsintensität zwischen 12 und 24 Monaten. Eine detaillierte Beispielrechnung für verschiedene Unternehmensgrößen folgt im nächsten Artikel dieser Serie.

Wo lokale KI als Systemkomponente wirkt: konkrete Beispiele

Das ist der Teil, der in den meisten KI-Diskussionen fehlt. Nicht das Chatfenster, sondern der eingebettete Prozess.

Protokoll- und Dokumentenarchiv befragen: Ein Mitarbeiter fragt, was im Meeting vom 3. März zu Lieferant X entschieden wurde. Ohne KI: 20 Minuten suchen, vielleicht nichts finden. Mit einem lokalen Wissensspeicher aus drei Jahren Protokollen: Antwort in Sekunden, mit Quellenangabe. Kein Byte dieser Protokolle verlässt das Netzwerk.

E-Mail-Triage mit sensiblen Daten: Eingehende Kundenanfragen werden automatisch analysiert, kategorisiert und priorisiert ins System übertragen. Exakt das, was ich in meinem Email-to-Jira-Use-Case gebaut habe, aber ohne dass Kundendaten das Unternehmen verlassen.

Onboarding-Assistent: Neue Mitarbeiter fragen nach internen Abläufen, Ansprechpartnern oder Prozessverantwortlichen. Die KI kennt alle internen Dokumente. Kein Ticket an HR, kein Suchen im Intranet.

Technische Dokumentation: Servicetechniker fragen die KI zu Fehlercodes oder Wartungsintervallen. Die Antwort kommt aus den eigenen Handbüchern, nicht aus dem Internet oder dem allgemeinen Modell-Training.

Vertragsprüfung: Vertrieb prüft, welche Konditionen in früheren Verträgen vereinbart wurden. Inhalte und Kundendaten bleiben vollständig im System.