Lokale KI für Unternehmen
Lokale KI heißt: Das Sprachmodell rechnet auf einem Server, der nur für Sie läuft, in Ihrem Haus oder in einem deutschen Rechenzentrum. Anfragen, Dokumente und Antworten verlassen ihn nicht. inhouse-ki bringt dafür alles mit, was Ihr Team im Alltag braucht: Chat, Workflows, Apps und Postfach, mit lokalen Modellen als Standard.
Begriff
Was ist lokale KI?
Bei ChatGPT, Copilot oder Gemini rechnet das Modell beim Anbieter. Bei lokaler KI rechnet es auf Hardware, die nur Ihnen zur Verfügung steht. Man spricht auch von KI on-premise, einem lokalen LLM oder KI ohne Cloud.
Eigener Server
Ein GPU-Server nur für Ihr Unternehmen: gekauft in Ihrem Serverraum oder gemietet in einem deutschen Rechenzentrum. Datenbank, Speicher und Modell teilen Sie mit niemandem.
Offene Modelle
Auf dem Server laufen Open-Weight-Modelle, deren Gewichte vollständig bei Ihnen liegen. Kein Hersteller sieht Ihre Anfragen, und nichts wird zum Training genutzt.
Ihre Regeln
Ihre IT entscheidet, ob überhaupt ein Cloud-Modell zugeschaltet werden darf. Mit einer Einstellung bleibt die ganze Organisation rein lokal.
Vergleich
Lokale KI oder KI aus der Cloud?
Cloud-KI ist bequem und bei offenen Aufgaben stark. Bei vertraulichen Daten macht lokale KI den Unterschied.
| Lokale KI mit inhouse-ki | KI-Dienst aus der Cloud | |
|---|---|---|
| Wo das Modell rechnet | auf Ihrem eigenen Server | beim Anbieter, oft mit Konzernsitz außerhalb der EU |
| Wer Ihre Daten sieht | nur Ihre Organisation | der Anbieter und seine Unterauftragnehmer |
| Mit anderen geteilt | nein, eine Instanz nur für Sie | meist ja; eigene Instanzen erst ab großen Nutzerzahlen |
| Rechtliche Prüfung | keine Drittlandübermittlung, einfache Auftragsverarbeitung | Prüfung von Drittland, CLOUD Act, Auslagerung |
| Kosten | fester Preis pro Server, unabhängig von der Nutzung | pro Nutzer oder pro Token |
| Modellqualität | für Aufgaben mit Ihren Unterlagen in der Regel ausreichend | bei offenen Analysen vorn |
Große KI-Plattformen bieten einen eigenen Server meist erst ab 2.000 Nutzern an, im eigenen Rechenzentrum oft erst ab 5.000. Mehr zum Vergleich
Gründe
Warum Unternehmen auf lokale KI setzen
Einsatz
Was lokale KI im Unternehmen heute leistet
Lokale Modelle sind dort stark, wo die Antwort in Ihren Unterlagen steht. Wie gut sind lokale Modelle?
Fragen an Ihre Dokumente
Antworten aus Akten, Verträgen und Handbüchern, mit Quellenangabe und nur aus Dokumenten, die die fragende Person sehen darf.
Antwortentwürfe im Postfach
Eingehende Mails zuordnen und beantworten. Der Entwurf wartet auf Ihre Freigabe, bevor er das Haus verlässt.
Workflows mit Prüfschritten
Unterlagen auslesen, vergleichen und prüfen, etwa Kreditanfragen, Lieferantenangebote oder Rechnungen.
Apps aus dem Chat
Kleine Anwendungen für Ihre Abläufe, gebaut im Chat und betrieben auf Ihrem Server.
Selbst bauen?
Lokale KI selbst einrichten oder als fertige Plattform?
Ein lokales Modell lässt sich mit freien Werkzeugen wie Ollama in einer Stunde starten. Für den Einsatz im Unternehmen fehlt dann aber noch einiges.
Ein Modell auf einem Rechner
- Gut zum Ausprobieren und für Einzelpersonen
- Rechte, Anmeldung und Protokoll bauen Sie selbst
- Updates, Sicherung und Betrieb liegen bei Ihrer IT
inhouse-ki als fertige Plattform
- Rechte pro Dokument: Die KI sieht nur, was die fragende Person sehen darf, in Suche, Chat und Workflows.
- Anmeldung mit Ihrem Firmenkonto, Audit-Log und Freigaben vor dem Versand
- Anbindung an Postfach, Dokumente und Fachsysteme
- Einrichtung, Updates, neue Modelle und Betrieb durch uns
Ihr Server
Ihr eigener KI-Server: gekauft, gemietet oder in Azure
Eine Instanz nur für Ihr Unternehmen, schon ab dem ersten Nutzer. Gekauft steht der Server in Ihrem Haus, gemietet in einem deutschen Rechenzentrum, und in Azure läuft inhouse-ki in Ihrem eigenen Microsoft-Konto. In allen drei Fällen kümmern wir uns um den Betrieb.
Server kaufen
ab16.400 €
zzgl. 1.490 € / Monat für Software und Betrieb
Wir legen den Server für Ihre Nutzerzahl aus, beschaffen ihn, liefern ihn mit inhouse-ki vorinstalliert und richten ihn in Ihrem Serverraum ein.
- Abrechnung
- einmalige Anschaffung der Hardware, Software und Betrieb monatlich
Server mieten
ab2.590 €/ Monat
inkl. Software und Betrieb
Ein GPU-Server in einem deutschen Rechenzentrum mit Ihrer eigenen inhouse-ki-Instanz. Wir richten ihn ein, betreiben ihn und halten ihn aktuell.
- Abrechnung
- monatlich, keine Investition; über uns oder direkt beim Rechenzentrum auf Ihren Namen
In Microsoft Azure
ab1.490 €/ Monat
Software und Betrieb, zzgl. Azure-Kosten bei Microsoft
Wir installieren inhouse-ki in Ihrem Microsoft-Azure-Konto in einer europäischen Region, mit leistungsstarken Modellen wie denen von OpenAI. Nicht vollständig lokal, aber in Ihrem Konto und nach Ihren Regeln.
- Abrechnung
- monatlich, keine Investition; Azure direkt bei Microsoft, Software und Betrieb über uns
Im Regelfall arbeiten Sie mit dem lokalen Modell. Sie verbauen sich aber keine Option: Für nicht sensible Daten können Sie jederzeit leistungsstarke Cloud-Modelle aus europäischem Hosting bei Azure dazuschalten. Wie gut sind lokale Modelle?
Einführung
In vier Schritten zur lokalen KI
Gespräch
45 Minuten zu Ihren Abläufen, Daten und Anforderungen.
Demo
Wir zeigen inhouse-ki mit Unterlagen aus Ihrer Branche.
Pilot
Acht Wochen auf einem gemieteten Server nur für Sie, mit echten Daten und einem konkreten Ablauf.
Häufige Fragen zu lokaler KI
Was ist lokale KI?
Ein KI-System, dessen Sprachmodell auf einem Server rechnet, der nur Ihrem Unternehmen zur Verfügung steht. Anfragen und Dokumente werden nicht an einen externen KI-Anbieter geschickt.
Ist lokale KI DSGVO-konform?
Lokale KI macht es deutlich einfacher: Es gibt keine Übermittlung in Drittländer und keinen KI-Anbieter, der Ihre Daten verarbeitet. Die übrigen Pflichten der DSGVO gelten weiter. Wir liefern Auftragsverarbeitungsvertrag und TOMs. Trust Center
Was kostet lokale KI im Unternehmen?
Gemietet ab 2.590 € / Monat (inkl. Software und Betrieb), gekauft ab 16.400 € für die Hardware (zzgl. 1.490 € / Monat für Software und Betrieb). Der Preis hängt nicht von der Nutzerzahl ab. Preise und Varianten
Welche Hardware braucht lokale KI?
Einen Server mit einer oder mehreren Profi-GPUs. Ein solcher Server reicht typischerweise für einige Dutzend bis rund hundert regelmäßige Nutzer. Wir legen ihn für Ihre Nutzung aus, beschaffen und betreiben ihn.
Wie gut ist lokale KI im Vergleich zu ChatGPT?
Bei Aufgaben mit Ihren eigenen Unterlagen liegen lokale Modelle nah an den Spitzenmodellen. Bei offenen Analysen ohne Vorlage liegen Cloud-Modelle vorn. Wie gut sind lokale Modelle?
Was ist der Unterschied zwischen lokaler KI und KI on-premise?
On-premise heißt: im eigenen Haus, auf eigener Hardware. Lokale KI umfasst auch einen gemieteten Server in einem deutschen Rechenzentrum, der nur für Sie läuft. Bei inhouse-ki ist beides möglich, die Software ist dieselbe.
Kann ich trotzdem Cloud-Modelle nutzen?
Ja, wenn Ihre IT es freigibt, etwa für nicht vertrauliche Aufgaben. Namen und Kontodaten lassen sich vorher pseudonymisieren. Mit einer Einstellung sperren Sie Cloud-Modelle für die ganze Organisation. Modelle
Lokale KI mit Ihren Unterlagen erleben
In der Demo zeigen wir inhouse-ki an Beispielen aus Ihrer Branche und klären, wo Ihr Server stehen soll.