Ein radikal neuer Ansatz zur Datenintegration spart Engineering-Zeit und ermöglicht es Datentechnikern und Analysten, sich mit wichtigeren Aktivitäten zu befassen.

Der Modern Data Stack (MDS) ist eine Suite von Tools zur Datenintegration. In der Reihenfolge des Datenflusses handelt es sich bei diesen Tools um:

• eine vollständig verwaltete ELT-Data Pipeline
• ein cloudbasiertes, in Spalten angeordnetes Warehouse oder ein Data Lake als Destination
• ein Transformations-Tool
• eine Business Intelligence- oder Datenvisualisierungs-Plattform.

Das Ziel eines MDS besteht darin, Ihre Unternehmensdaten zu analysieren, um proaktiv neue Möglichkeiten aufzudecken und die Effizienz zu steigern. Da es sich beim MDS um eine relativ junge Entwicklung handelt, möchten wir hier auf einige häufig gestellte Fragen über seine Funktionen eingehen.

[CTA_MODULE]

Was unterscheidet einen Modern Data Stack von einem älteren Data Stack?

Der wichtigste Unterschied zwischen einem Modern Data Stack und einem älteren Data Stack besteht darin, dass der Modern Data Stack in der Cloud gehostet wird und nur wenig technische Konfiguration durch den Nutzer erfordert. Diese Eigenschaften optimieren die Zugänglichkeit für die Endnutzer sowie die Skalierbarkeit, damit die Lösung Ihre steigenden datenbezogenen Anforderungen ohne kostspielige langfristige Ausfallzeiten durch die Skalierung lokaler Serverinstanzen erfüllen kann.

Letzten Endes verringert der Modern Data Stack die technische Barriere für die Datenintegration. Die Komponenten des Modern Data Stacks wurden mit Fokus auf Analysten und Business-Nutzer konzipiert. Aus diesem Grund können nicht nur Nutzer mit verschiedensten Hintergründen diese Tools ganz einfach nutzen, sie können sie auch ohne tiefgreifende technische Fachkenntnisse verwalten.

Welche Vorteile bietet ein Modern Data Stack?

Der Modern Data Stack spart Zeit, Geld und Arbeit. Die geringen und weiter sinkenden Kosten für Computing und Datenspeicherung in der Cloud steigern auch weiterhin die Einsparungen aus Modern Data Stacks im Vergleich zu On-Prem-Lösungen. Gebrauchsfertige Konnektoren sparen erhebliche Engineering-Zeit, die andernfalls für das Planen, Erstellen und Pflegen von Data Connectors aufzuwenden wäre, sodass sich Ihre Analysten, Datenwissenschaftler und Datentechniker auf wichtigere Analyse- und Datenwissenschaftsprojekte konzentrieren können.

Und das sagen unsere Kunden über den Aufbau eines Modern Data Stacks mit Fivetran:

‍

„Fivetran hat uns die Möglichkeit gegeben, unsere Produkt-, Finanz-, Kundendienst- und Marketingdaten in weniger als einem Tag mit unserem Warehouse zu synchronisieren – und das ohne Hilfe des Engineering-Teams. Jetzt können sich unsere Nutzer darauf konzentrieren, Erkenntnisse zu gewinnen, statt Daten zu validieren und Fehler zu beheben.“
– Brendon McKeon, Director of Data & Analytics, MessageYes

„Der wahre Vorteil von Fivetran besteht darin, dass die Leute ihre Zeit besser nutzen und den Wert der Daten maximieren können. Jetzt können wir schneller umfassendere Analysen erstellen. Unser Fokus liegt auf Datenmodellen und Datenanalysen versus ETL.“
– Gustavo Rada, Head BI, Exporo

„Fivetran spart uns monatlich leicht 20 Stunden Arbeitszeit ein, die wir stattdessen in die Entwicklung strategischer Erkenntnisse investieren können, um das Geschäft voranzutreiben, statt Zeit mit dem Extrahieren und Laden von Daten zu vergeuden.“

– Sean Rober, Head of Analytics bei Zenefits

Wie schwierig ist die Einrichtung?

Es ist einfach! Da sie in der Cloud gehostet werden und Komplikationen im Hinblick auf die Konfiguration der Infrastruktur der Vergangenheit angehören, können Modern Data Stacks von heute einfach in weniger als einer Stunde eingerichtet werden.

[CTA_MODULE]

Worauf sollte ich bei den einzelnen Komponenten des Modern Data Stacks achten?

Der Modern Data Stack umfasst eine Data Pipeline, eine Destination, einen Transformation Layer und eine Business Intelligence/Datenvisualisierungsplattform. Hier sehen Sie die wichtigen Eigenschaften der einzelnen Bestandteile:

Datenpipeline

Achten Sie auf ein Tool, das über vorgefertigte Konnektoren für sämtliche Datenquellen Ihres Unternehmens verfügt, eine unkomplizierte Skalierung der Datenintegration ermöglicht und vollständig verwaltet ist, damit Änderungen an APIs oder Schemata keine Herausforderung für Sie darstellen.

Destination

Ihre Daten-Destination sollte einfach in der Lage sein, sowohl das Computing als auch die Datenspeicherung ohne lange Ausfallzeiten zu skalieren, um Ihre Anforderungen in Bezug auf Datenspeicherung und Analysen zu erfüllen. Zusätzliche Eigenschaften sollten je nach Anwendungsfall abgewogen werden. Beispielsweise sollten Sie überlegen, wie Sie zukünftig den rollenbasierten Zugriff einzurichten oder Ihre Analysemodelle auszuführen gedenken. Es gelten verschiedene technische Kriterien für die Beurteilung von Cloud Data Warehouses.

Transformationen

Ihr Transformationswerkzeug sollte mit Ihrem Ziel kompatibel sein und über Funktionen verfügen, mit denen sich die Datenherkunft leicht zurückverfolgen lässt, wie z. B. Versionskontrolle und/oder Dokumentation, die die Auswirkungen der Transformation auf Ihre Tabellen verdeutlicht.

Business Intelligence/Datenvisualisierung

Allgemein ausgedrückt sollten Sie die technische Implementierung (beispielsweise die Definition von Variablen für Nutzer), die Visualisierungsflexibilität und den Nutzerzugriff berücksichtigen. Weitere Kriterien, etwa die Frage, ob die Endnutzer Selfservice-Zugriff auf das Tool haben sollen, hängen von Ihrer jeweiligen internen Datenstruktur ab. Wir sind bereits darauf eingegangen, wie Sie eine gute BI-Plattform finden können.

Wann sollte ich ein Upgrade auf den Modern Data Stack durchführen?

Es gibt zwei häufige Anwendungsfälle in Bezug auf den Wechsel zum Modern Data Stack. Größere oder ältere Unternehmen verfügen häufig über eine On-Prem-Infrastruktur, die in die Cloud migriert werden muss. Wenn Start-ups oder kleine Unternehmen wachsen, können sie einen cloudbasierten Modern Data Stack aufbauen, um kleinere, manuelle oder anwendungsinterne Berichtsfunktionen zu ersetzen.

Sie sollten auf jeden Fall vermeiden, zu weit zurückzubleiben. Der Modern Data Stack entwickelt sich fortlaufend weiter und wird die Analytik zukünftig nur noch weiter verbessern.

Datenintegration

Bestimmen Sie, wie lange Ihr Engineering-Team braucht, um neue Data Connectors zu erstellen und die bestehenden zu pflegen oder zu aktualisieren. Wie wirkt sich dies später auf die Zeitpläne für die Analyse aus? Wie hoch ist der Zeit- und Kostenaufwand? Heutzutage verwenden viele Unternehmen Echtzeit- oder echtzeitnahe Datenmodelle, um ihre geschäftlichen Abläufe nachzuverfolgen. Dazu gehört häufig ein modernes, vollständig verwaltetes ELT-Tool.

Destination

Dies ist in der Regel mit dem Computing und der Speichernutzung verbunden. Häufig hört man von Legacy-Datenbanken, die aufgrund von aufgeblähtem Speicher abstürzen oder Abfragen ausführen, die sich über eine Mittagspause erstrecken. Wenn solche Probleme auftreten, wird es Zeit für ein Upgrade. 73 % der Unternehmen geben an, dass ihre Cloud-Migrationsprojekte über ein Jahr dauern, aber es gibt einfach keinen Ersatz für einfache Skalierbarkeit und Zentralisierung. Ein Upgrade sollte lieber früher als später durchgeführt werden.

Transformationen

In manchen Fällen können Sie die nativen Funktionen Ihrer Destinations oder Ihrer Datenvisualisierungs-Tools nutzen, um Transformationen auszuführen, zum Beispiel wiederholbare SQL-Skripte. Im Sinne der Skalierung und mehr Transparenz sollten Sie erwägen, in ein Transformations-Tool zu investieren, das technisch für alle Team-Mitglieder zugänglich ist und Funktionen wie die Versionskontrolle bietet, um den Verlauf Ihrer Transformationen nachzuverfolgen.

Business Intelligence/Datenvisualisierung

Erfolgreichen Datenteams werden tagtäglich immer mehr Fragen gestellt, und Business Intelligence-Tools werden schnell zu einer Möglichkeit, Antworten zu erhalten. Überlegen Sie, auf welche Weise Nutzer Daten konsumieren (etwa Visualisierungen, Dashboards und Berichte) und was Sie brauchen, um den Zugriff auf die Daten via Selfservice so einfach wie möglich zu machen.

Der erste Schritt zur Migration in die Cloud besteht darin, eine cloudbasierte Destination auszuwählen, in der die Daten gespeichert werden sollen. Wenn Sie bereit sind, mit der Übertragung Ihrer Daten in die Cloud-Destination zu beginnen, steht Ihnen Fivetran gerne zur Verfügung.

Starten Sie Ihren ersten Modern Data Stack mit begrenztem Budget

Wenn Sie zum ersten Mal einen Modern Data Stack einrichten, kann die Auswahl der verfügbaren ETL-Tools und Destinations verständlicherweise eine überwältigende Herausforderung darstellen. In Bezug auf die Daten-Infrastruktur ist Verlässlichkeit der Schlüssel, damit Sie und Ihr Unternehmen stets vollstes Vertrauen in die Daten haben können.

Ebenso wichtig ist die Skalierbarkeit. Pflegeleichte, einfach einzurichtende Pipelines helfen Ihnen dabei, einen Data Stack aufzubauen, der nahtlos gemeinsam mit Ihrem Unternehmen wächst und später keine Kopfschmerzen verursacht. Die auf dem Markt verfügbaren günstigeren Lösungen können versteckte Kosten mit sich bringen, aber zum Glück bietet das kostenlose Abo von Fivetran Datenexperten wie Ihnen gebührenfrei Zugriff auf Premium-Pipelines, damit Sie niemals Verlässlichkeit opfern müssen, um Geld zu sparen.

Darüber hinaus können Sie Ihre Daten mit Fivetrans dbt Core™*-kompatiblen Datenmodellen auch absolut kostenlos transformieren. Mit Quickstart-Datenmodellen können Sie mit nur einem Blick Transformationen ausführen, ohne ein dbt-Projekt zu erstellen. Wenn Sie ein Profi im Umgang mit dbt sind, können Sie unsere verfügbaren Datenmodelle nutzen, um die Durchführung von Transformationen nach jedem Laden zu automatisieren.

Wenn Ihr Unternehmen noch am Anfang steht und Sie nur eine geringe Datenmenge haben, bietet Ihnen das kostenlose Abo von Fivetran in Kombination mit den kostenlosen Transformationen die Möglichkeit, die ELT-Vorgänge komplett kostenfrei durchzuführen.

[CTA_MODULE]

*dbt Core ist eine Marke von dbt Labs, Inc. Alle Rechte daran sind dbt Labs, Inc. vorbehalten. Fivetran Transformations ist kein Produkt und keine Dienstleistung von dbt Labs, Inc. und kein/e von dbt Labs, Inc. empfohlene/s Produkt oder Dienstleistung.