Der Betrieb eigener KI-Systeme war lange ein Thema für Forschungseinrichtungen. Inzwischen laufen brauchbare Sprachmodelle auf überschaubarer Hardware, und frei verfügbare Modelle lassen sich ohne Anbindung an einen externen Dienst betreiben. Für Unternehmen mit sensiblen Daten wird die Frage damit konkret: selbst betreiben oder mieten?
Die drei Entscheidungsfaktoren
Erstens die Sensibilität der Daten. Wo Personal-, Gesundheits- oder Konstruktionsdaten verarbeitet werden, ist der eigene Betrieb oft die einfachere Antwort auf Datenschutzfragen als jede vertragliche Konstruktion: Es gibt keine Übermittlung an Dritte, keine Unterauftragnehmer und keine Frage nach dem Verarbeitungsland.
Zweitens die Auslastung. Eigene Hardware rechnet sich, wenn sie regelmäßig genutzt wird. Für gelegentliche Abfragen ist Mieten fast immer günstiger, weil man dort nur bezahlt, was tatsächlich anfällt, während ein eigener Server auch im Leerlauf Kapital bindet.
Drittens das Können im Haus. Ein KI-Server will betreut werden, von Treibern und Laufzeitumgebung über die Modellauswahl bis zur Überwachung. Fehlt diese Kompetenz und ist sie auch nicht verlässlich einzukaufen, wird aus dem Datenschutzvorteil schnell ein Betriebsrisiko.
Was die Hardware leisten muss
Für den Betrieb von Sprachmodellen ist der Grafikspeicher meist der erste Engpass, nicht die Rechenleistung: Das Modell sollte vollständig in den Speicher der Grafikkarten passen, um zügig zu antworten. Eine Faustrechnung hilft bei der Größenordnung. Bei 16 Bit Genauigkeit belegt jeder Parameter zwei Byte, bei 8 Bit eines, bei 4 Bit ein halbes.
Ein Beispiel mit gerundeten Werten: Ein Modell mit acht Milliarden Parametern braucht in 16 Bit rund 16 GB für die Gewichte, ein Modell mit 70 Milliarden Parametern rund 140 GB – auf 4 Bit reduziert immer noch rund 35 GB. Hinzu kommt Speicher für den Kontext, also die laufende Unterhaltung und eingelesene Dokumente, der mit der Zahl gleichzeitiger Nutzer und der Länge der Eingaben wächst. Eine Rechenzentrumskarte wie die NVIDIA L40S bietet laut Hersteller 48 GB. Das kleinere Modell findet darauf bequem Platz, das größere nur stark reduziert oder verteilt auf mehrere Karten.
Stärker reduzierte Modelle antworten schneller und brauchen weniger Speicher, verlieren aber an Qualität. Wie stark, hängt vom Modell ab und lässt sich nur mit eigenen Aufgaben beurteilen – ein Test mit echten Dokumenten aus dem Haus ist aussagekräftiger als jede Rangliste. Neben dem Grafikspeicher gehören ausreichend Arbeitsspeicher, schneller Datenspeicher für die Modelldateien und, bei der Suche in eigenen Dokumenten, Platz für den Suchindex in die Planung.
Strom, Wärme und die vollständige Kostenrechnung
Grafikkarten für KI-Anwendungen sind große Verbraucher. Die genannte L40S ist laut Datenblatt für bis zu 350 W ausgelegt, eine H200 NVL für bis zu 600 W – jeweils pro Karte. Angenommen, ein Server trägt zwei 350-W-Karten und benötigt weitere rund 600 W für Prozessoren, Speicher und Lüfter: Unter Volllast nimmt er dann etwa 1,3 kW auf. Rund um die Uhr unter Volllast ergibt das 1,3 kW × 8.760 Stunden, also knapp 11.400 kWh im Jahr, zuzüglich der Energie für die Kühlung. Im Leerlauf liegt der Verbrauch deutlich darunter; als Obergrenze für die Planung von Stromanschluss und Klimatisierung taugt die Rechnung dennoch.
Für den Vergleich mit einem Mietdienst gehören auf die eine Seite die Anschaffung verteilt auf die geplante Nutzungsdauer, Strom einschließlich Kühlung, Stellplatz, Wartungsverträge und die Arbeitszeit für die Betreuung. Auf die andere Seite gehören die voraussichtlichen Nutzungsgebühren bei realistischer Anfragemenge sowie der Aufwand für die vertragliche und datenschutzrechtliche Absicherung. Den Ausschlag gibt meist die Auslastung. Deshalb lohnt es sich, vor der Entscheidung einige Wochen lang zu messen, wie viele Anfragen tatsächlich anfallen.
Was oft übersehen wird
- Stromaufnahme und Abwärme: Viele Serverräume sind für die Leistungsdichte von GPU-Systemen weder elektrisch noch klimatisch ausgelegt.
- Lebensdauer: Die Entwicklung ist schnell – die wirtschaftliche Nutzungsdauer entsprechend kurz ansetzen und die steuerliche Behandlung mit der Steuerberatung klären.
- Modellpflege: Neue Modellversionen und Sicherheitsupdates für Treiber und Laufzeitumgebung fallen laufend an; ein einmal eingerichtetes System bleibt nicht von selbst auf Stand.
- Lizenzbedingungen: Frei verfügbare Modelle stehen unter sehr unterschiedlichen Lizenzen. Manche erlauben die kommerzielle Nutzung ohne Einschränkung, andere nur mit Auflagen – das gehört vor der Auswahl geprüft.
- Zugriffskontrolle: Auch intern gehört geregelt, wer welche Inhalte verarbeiten darf und wer die Protokolle der Anfragen einsehen kann.
- Rechtliche Rolle: Auch im Eigenbetrieb gilt die KI-Verordnung. Welche Pflichten greifen, hängt davon ab, ob ein System nur genutzt oder selbst entwickelt und bereitgestellt wird; das sollte vor Projektbeginn geklärt sein.
Der Mittelweg: eigene Hardware in professioneller Umgebung
Ein pragmatischer Mittelweg ist der Betrieb im gemieteten Rechenzentrum: eigene, dedizierte Hardware unter eigener Kontrolle, aber in einer Umgebung mit ausreichender Stromversorgung, Kühlung und Anbindung. Das verbindet Datenhoheit mit betrieblicher Verlässlichkeit und löst das Wärmeproblem, das im eigenen Serverraum oft den Ausschlag gibt. Denkbar ist auch, zunächst einen gemieteten dedizierten GPU-Server zu nutzen, bis die tatsächliche Auslastung bekannt ist, und erst dann über einen Kauf zu entscheiden.
Für die Geschäftsführung lassen sich die Überlegungen auf vier Fragen verdichten: Welche Daten sollen verarbeitet werden? Wie viele Anfragen fallen tatsächlich an? Wer betreut das System auch in Urlaubs- und Krankheitszeiten? Und wo steht es so, dass Strom und Kühlung dauerhaft gesichert sind?
Unsere Einordnung: Eigene KI-Hardware ist sinnvoll, wenn sensible Daten, regelmäßige Nutzung und verlässliche Betreuung zusammenkommen. Fehlt einer der drei Faktoren, ist Mieten meist die vernünftigere Wahl – zumindest so lange, bis die eigene Nutzung gemessen und nicht nur geschätzt ist.
Verwandte Themen: Wer hier weiterdenkt, liest bei Colocation, Hardware-Lebenszyklus und KI Datenschutz weiter.
Quellen
- Künstliche Intelligenz · BSIamtlich
- Kriterienkatalog für KI-Cloud-Dienste – AIC4 · BSIamtlich
