Blog
KI. Smarte Infrastrukturen für smarte Systeme
Die rasanten Fortschritte im Bereich Künstlicher Intelligenz haben eine Vielzahl an Fachanwendungen hervorgebracht. Ob für die Erstellung von Texten, die Bildgenerierung oder sogar für komplexe Analysen – generative KI ist ein vielseitiges Werkzeug. Doch neben den vielen fachlichen Anwendungsfällen bedarf es einer robusten und durchdachten technischen Infrastruktur, um diese Technologien effizient und sicher einzusetzen.
Wir von Micromata haben bereits in verschiedenen Projekten, sowohl intern als auch für Kunden, unterschiedliche KI-Infrastrukturarchitekturen erprobt, die von Proofs of Concept (PoCs) bis hin zur produktiven Nutzung reichen. In diesem Artikel beleuchten wir unsere Erfahrungen und geben Empfehlungen.
Datenverarbeitung und Datenschutz
Eine der grundlegendsten Fragen bei der Implementierung generativer KI ist die Art der Daten, die verarbeitet werden sollen und deren Schutzbedürfnis. Microsoft beschreibt den eigenen OpenAI-Service als vertrauenswürdig, da Daten weder zum Training verwendet noch gespeichert oder weitergegeben werden. Ob das so ist, können wir nicht prüfen und müssen deshalb dieser Aussage vertrauen. Doch gehen wir davon aus, dass die Angaben korrekt sind – denn alles andere wäre Verbrauchertäuschung und könnte für Microsoft teure Rechtsstreitigkeiten nach sich ziehen, vom verursachten Imageschaden ganz zu schweigen.
Für diejenigen, die nicht darauf vertrauen möchten, haben wir als Alternative zu cloud-gehosteten Modellen auch mit Open-Source-Modellen wie Llama experimentiert. Diese Modelle erlauben es, den Datentransfer in einer kontrollierbaren Umgebung zu halten und somit ein höheres Maß an Datenschutz sicherzustellen. Die Ergebnisqualität solcher Open-Source-Modelle wird zudem stetig besser und sie schlagen sich immer öfter gut gegen geschlossene Modelle.1 Ein Blick auf sie kann sich also lohnen.
Infrastruktur-Hosting
Die nächste wichtige Frage ist, wo die Infrastruktur für die fachlichen Komponenten gehostet werden soll. Bei Micromata setzen wir aufgrund unserer langjährigen Expertise bevorzugt auf Cloud-Umgebungen, da diese die flexibelsten Anpassungen ermöglichen und besonders bei Proofs of Concept schnell Ergebnisse liefern können. So arbeiten wir bevorzugt mit Platform-as-a-Service-Diensten (PaaS), wie z. B. Azure Kubernetes Service (AKS) oder Amazon Elastic Kubernetes Service (EKS).
Für grundlegende Infrastrukturmetriken nutzen wir ein Logging mit Elastic Stack und Prometheus. In Kombination mit den Metriken der Cloudanbieter liegen somit alle relevanten Daten für den produktiven Betrieb vor. Diese Kombination ermöglicht nicht nur eine effektive Überwachung und Analyse, sondern auch eine schnelle Skalierung je nach Bedarf.
Vektordatenbanken und RAG Architektur
In vielen Fällen benötigen Generative-KI-Projekte eine Vektordatenbank wie beispielsweise Qdrant. Diese kommen zum Einsatz, wenn eine RAG-Architektur (Retrieval-Augmented Generation) erforderlich ist, welche Prompts mit relevanten Kontextinformationen anreichert. Die Vektordatenbank erlaubt es uns, Informationen zu identifizieren, die inhaltlich mit dem Anfrageprompt verwandt sind und so dem KI-Modell Datensätze hinzuzufügen, die nicht Teil der Modelltrainingsdaten sind.
Prototyping-Tools für schnelle Machbarkeitsstudien
Für Prototypingzwecke setzen wir gerne auf Tools wie Flowise, die schnell in der Infrastruktur bereitgestellt werden können und es ermöglichen, Machbarkeitsstudien durchzuführen. Bei Micromata haben wir aber auch hervorragende Erfahrungen mit Jupyter Notebooks und LangChain gemacht. Diese Tools bieten genügend Flexibilität und Erweiterbarkeit, um verschiedene Experimente durchzuführen und schnell iterative Verbesserungen zu implementieren.
1. Architektur von KI-Infrastrukturen in der Cloud
Die Inbetriebnahme einer KI-Infrastruktur in der Cloud beginnt mit der sorgfältigen Auswahl geeigneter Cloud-Dienste. In der Regel werden PaaS-Lösungen wie AKS oder Amazon EKS bevorzugt, um eine flexible und skalierbare Umgebung für die Bereitstellung von KI-Modellen zu gewährleisten. Dabei erfolgt zunächst die Konfiguration der Cluster und die Anbindung an Überwachungssysteme, die eine ganzheitliche Beobachtung der Systemleistung ermöglichen. Anschließend werden die relevanten Daten- und Rechenressourcen eingerichtet, um eine stabile Umgebung für die Ausführung von Trainings- und Inferenzjobs bereitzustellen. Der Einsatz von Infrastructure-as-Code (IaC)-Tools wie Terraform erleichtert den Rollout und sorgt für eine konsistente Bereitstellung über verschiedene Umgebungen hinweg.
2. Betrieb von KI-Infrastrukturen in der Cloud
Im laufenden Betrieb erfordert die KI-Infrastruktur eine kontinuierliche Überwachung und Anpassung, um den Anforderungen gerecht zu werden. Mithilfe von Metriken, die von den Cloud-Anbietern und zusätzlichen Monitoring-Tools bereitgestellt werden, lassen sich Leistungsengpässe frühzeitig erkennen und beheben. Automatisierte Skalierungsmechanismen sorgen dafür, dass die Infrastruktur dynamisch auf Lastspitzen reagieren kann, ohne dass es zu Ausfällen kommt. Weiterhin ermöglicht die enge Integration von Logging- und Überwachungsdiensten eine tiefgehende Analyse des Systemverhaltens und erleichtert das Debugging von Fehlern. Um die Sicherheit der Infrastruktur zu gewährleisten, werden regelmäßige Updates und Sicherheitsüberprüfungen durchgeführt, wobei automatische Backup- und Wiederherstellungsmechanismen die Datenintegrität sichern.
Infrastructure as Code
Unabhängig vom verwendeten Technologiestack ist es bei Micromata selbstverständlich, auch die state-of-the-art DevOps Basics nicht aus dem Blick zu verlieren. Schließlich stellen KI-Infrastrukturen ähnliche Anforderungen an Skalierbarkeit, Wartbarkeit, Backup und Desaster Recovery. Neben den Mitteln, die Cloud Provider dafür anbieten, ist es daher wichtig, auch die Infrastruktur in Code zu gießen. Typische Technologien dafür sind Terraform, Cloudformation, Ansible und im Kubernetes-Umfeld auch Helm.
Schlussfolgerung
Unabhängig vom verwendeten Technologiestack ist es bei Micromata selbstverständlich, auch die state-of-the-art DevOps Basics nicht aus dem Blick zu verlieren. Schließlich stellen KI-Infrastrukturen ähnliche Anforderungen an Skalierbarkeit, Wartbarkeit, Backup und Desaster Recovery. Neben den Mitteln, die Cloud Provider dafür anbieten, ist es daher wichtig, auch die Infrastruktur in Code zu gießen. Typische Technologien dafür sind Terraform, Cloudformation, Ansible und im Kubernetes-Umfeld auch Helm.
Sie wollen wissen, welche Rolle Open Source KI in der Cloud spielt? Hier erfahren Sie’s.
