Warum Open Data Infrastructure Zuverlässigkeit und niedrige Kosten bedeutet

Jahrelang basierten die Datenarchitekturen von Unternehmen auf der einfachen Annahme, dass Daten in erster Linie dazu da sind, menschliche Entscheidungen durch Dashboards und Berichte zu unterstützen. Daten sind heute aber auch die Grundlage für betriebliche Arbeitsabläufe, ML-Systeme und zunehmend auch für KI-Agenten, die zeitnahe, vertrauenswürdige Daten in großem Umfang benötigen.

Diese neuen Anforderungen zeigen die Grenzen der herkömmlichen Datenarchitektur auf. Wenn Unternehmen eine Dateninfrastruktur wollen, die sowohl zuverlässig als auch kostengünstig ist, brauchen sie ein neues Organisationsprinzip. Und dieses Prinzip lautet Open Data Infrastructure.

[CTA_MODULE]

Warum herkömmliche Architekturen einen ungünstigen Kompromiss erzwingen

Bei älteren Architekturen mussten Unternehmen in der Regel zwischen zwei unvollkommenen Optionen wählen.

Die Kernoption für Analysen war das Data Warehouse: strukturiert, zuverlässig und für Analysen optimiert. Der herkömmliche Data Lake hingegen wurde immer dann eingesetzt, wenn Massendaten und unstrukturierte Daten im Vordergrund standen: günstiger und skalierbarer für die reine Speicherung, aber oft schwieriger zu kontrollieren und weniger zuverlässig für hochwertige analytische Anwendungsfälle.

Dieser Kompromiss führte zu einer Spaltung zwischen analytischen und operativen Architekturen. Die Teams extrahierten, luden und transformierten Daten in einem System für BI und Reporting und taten dasselbe dann in einem anderen System für umfangreiche Speicherung, Data Science oder Anwendungsunterstützung. Im Laufe der Zeit führte dies zu weitläufigen Umgebungen mit mehreren Kopien derselben Daten, fragmentierter Governance und wachsender betrieblicher Komplexität.

Dieses Kostenproblem betrifft nicht nur die Infrastrukturausgaben, sondern auch die Engineering-Zeit. Jede doppelte Pipeline, jede Übergabe zwischen Systemen und jede Ausnahme in der Governance bedeutet mehr Aufwand für Wartung, Fehlerbehebung und Sicherheit.

Ein weiteres Problem, das sich aus der Abhängigkeit von Data Warehouses für Analysen ergibt, ist die enge Bündelung von Speicher, Rechenleistung und Zugriff. Dadurch sind Data Warehouses zwar leicht einzuführen, aber teuer in der Skalierung. Sind Speicher und Rechenleistung gekoppelt, zahlen Unternehmen unter Umständen Premiumpreise für Arbeitslasten, die keine leistungsstarke Infrastruktur erfordern.

Anbieter haben die Sache noch schwieriger gemacht. Da Daten für KI und Automatisierung immer wertvoller werden, versuchen einige Anbieter, ihre Gewinnspannen zu schützen, indem sie den Zugang zu Kundendaten monetarisieren und den freien Datenaustausch zwischen verschiedenen Tools erschweren. Solche Abhängigkeiten erschweren die Kostenkontrolle, die Leistungsoptimierung und die Anpassung an neue Anwendungsfälle.

Das Ergebnis ist ein System, das mit zunehmender Größe immer teurer und ineffizienter wird. Die Zuverlässigkeit beginnt unter der Komplexität zu leiden, während die Kosten für Infrastruktur, Entwicklung und Verwaltung steigen. Das ist für Unternehmen, die sich verstärkt auf KI, Automatisierung und Echtzeitbetrieb verlassen wollen, nicht tragbar.

Was Open Data Infrastructure verändert

Open Data Infrastructure bietet einen klareren Weg in die Zukunft.

Im Kern kombiniert sie die kostengünstige Skalierbarkeit des Data Lake mit der Struktur und Zuverlässigkeit, die traditionell mit dem Data Warehouse verbunden sind. Offene Tabellenformate wie Apache Iceberg und Delta Lake bieten wichtige Funktionen für Lake-basierte Architekturen, z. B. relationale Struktur, Schemaerzwingung und ACID-ähnliche Transaktionssicherheit. Dadurch werden die Daten im Data Lake für Produktionsanalysen und KI-Workloads weitaus brauchbarer und zuverlässiger, während der Data Lake seine Fähigkeit zur Verarbeitung unstrukturierter Daten behält.

Genauso wichtig ist, dass Open Data Infrastructure die Speicherung von der Datenverarbeitung entkoppelt. Unternehmen können Daten einmalig in kostengünstigem, handelsüblichem Objektspeicher ablegen und dann für jeden Anwendungsfall die beste Compute-Engine wählen. Dies könnte bedeuten, dass eine Engine für BI, eine andere für Data Science und eine weitere für operative Anwendungen eingesetzt wird.

Diese Flexibilität verbessert sowohl die Zuverlässigkeit als auch das Kostenmanagement.

Die Zuverlässigkeit wird verbessert, da die Teams alle Datenoperationen auf einer einzigen Datenarchitektur mit konsistenter Struktur, Governance und Semantik aufbauen können, anstatt Daten über unzusammenhängende Systeme hinweg zu verschieben. Das Kostenmanagement wird verbessert, da der Speicher günstig bleibt und die Compute-Ressourcen auf der Grundlage von Leistung und Preis für die jeweilige Aufgabe ausgewählt werden können.

Die Interoperabilität ist das andere wichtige Element. Offene Tabellenformate sind nicht nur deshalb wertvoll, weil sie die Lakehouse-ähnliche Funktionalität verbessern, sondern auch, weil sie die Abhängigkeit von einem einzigen Anbieter verringern. Eine auf offenen Standards basierende Datengrundlage kann viele nachgelagerte Tools unterstützen, ohne dass die Teams gezwungen sind, Daten oder Pipelines zu duplizieren. Die eigene Positionierung von Fivetran rund um moderne Data Lakes unterstreicht diesen Ansatz, nämlich „einmal verschieben, nach Bedarf abfragen“, sowie den Nutzen eines herstellerneutralen Speichers mit nachgelagerter Interoperabilität.

Um diese Vision zu verwirklichen, müssen auch die Anbieter mitmachen. Kunden sollten in der Lage sein, ihre Daten mit möglichst geringem Aufwand abzurufen und zu nutzen. Open Data Infrastructure funktioniert am besten, wenn das sie umgebende Ökosystem einen relativ ungehinderten Zugang unterstützt, anstatt proprietäre Barrieren bei der Auswahl von Speicher, Compute-Ressourcen oder Metadaten zu errichten.

Wenn alle Teile zusammenkommen, entsteht eine einheitliche Datenarchitektur, die zuverlässig ist, weil kritische Daten strukturiert und geregelt werden, und die zudem kosteneffizient ist, weil sie auf skalierbarem Standardspeicher mit flexibler Rechenleistung ausgeführt wird.

[CTA_MODULE]

Warum dies jetzt wichtig ist – und in Zukunft noch wichtiger sein wird

Unabhängig von der Branche nutzen Unternehmen immer mehr Daten aus immer mehr Quellen und unterstützen ein breiteres Spektrum an analytischen und betrieblichen Anwendungsfällen. Sie erforschen auch aktiv, wie KI Analysen verbessern, Arbeitsabläufe automatisieren und neue Arbeitsweisen schaffen kann. All diese Anwendungsfälle erfordern große Mengen aktueller, vertrauenswürdiger Daten.

KI-Systeme stellen besonders hohe Anforderungen, da sie sowohl den Umfang als auch die Auswirkungen vergrößern. Sie verursachen auch mehr automatisierte nachgelagerte Aktionen, was bedeutet, dass Datenqualität und -verfügbarkeit noch wichtiger werden. Eine brüchige, kostenintensive Architektur kann nicht nur Innovationen im Wege stehen, sondern auch die negativen Folgen einer fehlgeleiteten KI verstärken.

Deshalb geht es beim Kostenmanagement um mehr als nur die Senkung der Cloud-Rechnung. Es geht auch darum, den technischen und administrativen Aufwand für den Betrieb des Systems zu verringern. Die beste Architektur ist nicht nur günstiger in Speicherung und Abfrage, sondern auch einfacher zu handhaben, zu verwalten und anzupassen.

Open Data Infrastructure ist auf diese Realität ausgerichtet. Sie ist interoperabel, flexibel und unabhängig von der genauen Form der Auslastung. Unabhängig davon, ob ein Team Dashboards, Datenprodukte, ML-Pipelines oder agentenbasierte KI-Systeme unterstützt, kann die gleiche offene Grundlage je nach Bedarf skaliert werden.

Das ist das eigentliche Versprechen: nicht einfach eine kostengünstigere oder zuverlässigere Architektur, sondern eine, die beides gleichzeitig bietet.

[CTA_MODULE]

‍