Referenz
Azure Blob Storage:
300 % mehr Leistung bei
90 % weniger Kosten
Die Sendungsverfolgung für den geschäftlichen Schriftverkehr ist ein wichtiger Bestandteil des digitalen Leistungsportfolios unseres Auftraggebers. Weiterentwicklung, Wartung und Betrieb dieses zentralen Systems liegen in unserer Hand. Durch eine Revision der genutzten Cloud-Dienste zur Datenspeicherung und -verarbeitung konnten wir hier kürzlich die Betriebskosten um 90 % reduzieren. Geschäftskritische Systeme mit hohem Datenvolumen müssen also nicht gleich teuer sein – und Kompromisse bei der Performance sind wir auch nicht eingegangen. Im Gegenteil!
Kosten senken trotz Teuerung
Hohe Kosten machen sich derzeit in allen Branchen deutlich bemerkbar. Wer also kann, reduziert sie, wo es möglich ist. In der digitalen Welt geht das zum Glück mit digitalen Mitteln – besonders gut zum Beispiel in der Cloud.
Der Hauptkostentreiber in diesem System war die eingesetzte Datenbanktechnologie. Was nicht verwundert, wenn man bedenkt, dass das System 10 Mio. Datensätze pro Tag verarbeitet. Jedoch sind dem Betreiber dadurch zuletzt monatliche Kosten in fünfstelliger Höhe entstanden.
Ein untrügliches Zeichen – nicht nur für die allgemeine Kostenexplosion. Sondern auch dafür, dass eine Prüfung der angewandten Technologien nötig ist. Denn hohe Kosten können durchaus die Folge einer mangelnden Passung zwischen fachlicher Anforderung und gewähltem Werkzeug sein. Ist dies wie hier der Fall, wird es Zeit für eine neue Technologie.
Vorteile der Cloud allgemein
Die Cloud erlaubt ein sehr effizientes Management von Ressourcen. Sämtliche Software-Komponenten, in diesem Fall die Datenbank, können minimal-invasiv und ohne Downtime der Systeme ausgetauscht, gewartet oder weiterentwickelt werden. Unsere DevOps Engineers sind Experten in der Cloud und sorgen für eine reibungslose Skalierung Ihrer IT-Systeme. Optimal für alle Softwarebetreiber, die mehr Kosteneffizienz anstreben.
Vorteile von Database as a Service
Das As-a-Service-Modell der Cloud gilt auch für cloud-basierte Datenbanken wie Azure Blob Storage. Es bietet Softwarebetreibern die Möglichkeit, auf eine Datenbankinstanzen zuzugreifen, ohne sich um die zugrunde liegende Infrastruktur oder Verwaltungsaufgaben kümmern zu müssen. Unternehmen nutzen DBaaS für ihre produktiven Anwendungen aufgrund der Skalierbarkeit, Zuverlässigkeit und der Möglichkeit, die Kosten im Vergleich zu eigenständigen Datenbanken zu optimieren.
Vorteile von Azure Blob Storage
Azure Blob Storage erfüllt als Cloud-Datenbank höchste Ansprüche in Sachen Skalierung, Sicherheit und Verfügbarkeit. Optimal geeignet für serverlose Architekturen wie Azure Functions. Azure Blob Storage unterstützt die gängigsten Entwicklungsframeworks – darunter Java, .NET, Python und Node.js und verfügt über eine SSD-basierte Objektspeicherschicht. Auch das ein definitives Plus in Sachen Ressourceneffizienz.
Erster Schritt: Datenbank auf den Prüfstand!
Bisher wurde für die Speicherung und Verarbeitung der Sendungsdaten eine Datenbank verwendet – CosmosDB. Die klassische Antwort auf die Verwaltung von großen Datenmengen und ideal, wenn es darum geht, vielschichtige Daten zu verwalten, unter unterschiedlichen Konstellationen abzufragen oder gezielt zu manipulieren.
Eine zielgenaue Analyse des Systems zeigte indes, dass viele Funktionen, die eine Datenbank bietet, hier gar nicht von Nöten waren. Große Mengen an Echtzeitdaten werden strukturiert gesammelt und in regelmäßigen Intervallen aggregiert weitergepusht – ohne weitere Manipulationen oder komplexe Datenabfragen.
Lösung: Azure Blob Storage statt CosmosDB
Unsere Empfehlung: Mut zur Schlichtheit! Wenn zum Mut dann noch fundiertes Cloud-Infrastruktur-Wissen hinzukommt, wird daraus ganz konkret die Ablösung der teuren Hochleistungs-CosmosDB durch einen recht simpel strukturierten Datencontainer, dem Azure Blob Storage.
Der Azure Blob Storage bietet eine im Vergleich kostengünstige Lösung zum Speichern und schnellen Abrufen von Massendaten. Einfache Ansprüche an Strukturierung, die für die Anforderungen unseres Auftraggebers hinlänglich genügen, lassen sich durch Folder-Strukturen abbilden.
Erste Hochrechnungen zeigten bereits deutlich geringere monatliche Kosten im niedrigen vierstelligen Bereich. Und damit eine Kostenreduktion um über 90 % gegenüber der Nutzung von CosmosDB.
Die Daten werden mit Azure Blob Storage über den Tag hinweg gesammelt und dann 1 x am Tag weiterverarbeitet. Dieser Schritt hat vor dem Umbau bis zu 3 Stunden gedauert und braucht jetzt nur noch 45 Minuten. Das entspricht einer Leistungssteigerung von 300 %.
Vorgehen: Nahtlose und rasche Migration
Dank der Microservice-Architektur des Systems konnten die betroffenen Komponenten schnell auf die neue Speichertechnologie angepasst werden.
Die event-getriebene Verarbeitung der Daten über Apache Kafka erlaubte zudem einen Parallelbetrieb beider Lösungsansätze. Auf diese Weise konnte der Rollout fließend im laufenden Betrieb des Systems durchgeführt werden. Eine Migration bestehender Daten zwischen den verschiedenen Technologien war nicht notwendig. Nach Ablauf der Speicherfrist werden die Daten sukzessive aus der CosmosDB gelöscht – bis am Ende der Übergangszeit die Datenbank für diesen Bereich des Systems komplett abgeschaltet werden kann.
Ergebnis
Das Keep-It-Simple-Prinzip konnte in diesem Projekt seine volle Kraft entfalten. Ausgaben und Leistung lassen sich gleichzeitig optimieren – einfach durch die Wahl der zu den Anforderungen des Systems passenden Cloud-Dienste. Und Achtung: „Passend“ meint weder „underfitting“ noch „overfitting“ !
Darüber hinaus kann das System nach dem Umbau deutlich besser skalieren und ist damit optimal für weitere Nutzer und höhere Last gerüstet.
Die Digitalisierung, ein ganzer Kosmos an Möglichkeiten! Wir finden heraus, welche davon für Sie die besten sind: Smart. Zukunftsweisend. Wertschöpfend. Brechen wir gemeinsam in Ihre digitale Zukunft auf – wir freuen uns auf Ihre Nachricht!
