Aufbau eines Data Warehouse-Designs: Typen, Architektur und Implementierungsschritte

In Unternehmen sind Daten häufig über verschiedene Abteilungen und Teams verstreut. Uneinheitliche Daten geben Führungskräften keinen umfassenden, datenorientierten Überblick darüber, wie ihr Unternehmen wächst und wo Verbesserungsbedarf besteht. 

‍

Eine einzige Quelle der Wahrheit (Single Source of Truth) ist entscheidend, um ganzheitliche Erkenntnisse zu gewinnen. Indem ein Unternehmen beispielsweise alle Daten zu Lieferkettenmanagement, CRM und Customer-Success-Kennzahlen an einem Ort zentralisiert, kann es Silodenken vermeiden.

Data Warehouses sind Datenspeicher, die Daten aus unterschiedlichen Quellen für Reporting und Analysen konsolidieren. Data Warehouses vereinheitlichen die Prozesse zur Organisation und Darstellung von Daten, sodass sich Daten leicht erfassen, teilen und analysieren lassen.

In diesem Beitrag betrachten wir, wie Sie ein Data Warehouse für Ihr Unternehmen konzipieren, und zeigen, wie Fivetran Sie beim Laden von Daten in Ihr Data Warehouse unterstützt und Ihnen ermöglicht, bis zu jeder gewünschten Detailebene vorzudringen. 

Two approaches to designing a data warehouse  

Die beiden am häufigsten diskutierten Methoden für die Data-Warehouse-Gestaltung sind der Inmon- und der Kimball-Ansatz. 

Bill Inmon (Top-down approach)

Beim Top-down-Ansatz wird zuerst das Data Warehouse konzipiert und anschließend werden Data Marts (Datenstrukturen für einen einzelnen Geschäftsbereich oder ein Team in einem Unternehmen) erstellt. 

Data Engineers extrahieren zunächst Daten aus den Datenquellen und übertragen sie in das Data Warehouse. Sie können außerdem einen Staging-Bereich einrichten, um Daten zwischenzuspeichern, bevor sie in ein Data Warehouse verschoben werden. 

Anschließend können Sie Daten aus dem Data Warehouse extrahieren, Aggregationstechniken auf die extrahierten Daten anwenden und diese Daten an Data Marts verteilen. Der Vorteil dabei: Da die Data Marts all ihre Daten aus einem zentralen Data Warehouse beziehen, bleiben die Daten konsistent, da sie aus einer zentralen Quelle stammen. Diese Methode kann jedoch zeitaufwändig und kostspielig sein.  

Der Inmon-Ansatz ist sinnvoll, wenn Sie eine unternehmensweite Datenintegration benötigen, über ein großes Team von Datenspezialisten verfügen und keine strengen zeitlichen Vorgaben für die Datenanalyse haben. Ein Versicherungsunternehmen könnte sich beispielsweise für die Inmon-Methode entscheiden, da sie einen vollständigen Überblick über die Kunden, die Sterblichkeitsrate, die Schadenshistorie usw. bietet.

Kimball (Bottom-up approach)

Beim Kimball-Ansatz werden zuerst Data Marts auf Grundlage der Geschäftsanforderungen erstellt und anschließend in ein Data Warehouse integriert. Dieser Ansatz wird auch als dimensionales Data Warehouse bezeichnet, bei dem analytische Systeme für die Analyse direkt auf die Daten zugreifen können. 

Der Vorteil des Kimball-Ansatzes besteht darin, dass Sie Data Marts schnell aufbauen und Berichte schneller erstellen können. Außerdem können Sie Daten beliebig aufschlüsseln, um genau die gewünschten Informationen zu erhalten, und Ihre Datenarchitektur weiterentwickeln, wenn sich Ihre Geschäftsanforderungen ändern.    

So können Sie beispielsweise Data Marts für jede Abteilung erstellen, etwa für Vertrieb, Marketing, Finanzen und Personalwesen. Jede Abteilung kann Berichte erstellen und durch das Hinzufügen neuer Data Marts problemlos skalieren. 

Wie Datensätze in einem Data Warehouse organisiert werden: Schemas

Datenbanken speichern Informationen in Zeilen und Spalten. Sie werden häufig verwendet, um Daten in Tabellen oder Tabellenkalkulationen zu organisieren. Um diese Daten jedoch nutzen zu können, müssen Datenanalysten die Daten auf eine bestimmte Weise modellieren und definieren. Genau hier kommen Schemas ins Spiel.

Ein Datenbankschema ist eine Sammlung von Regeln, die festlegen, wie Daten innerhalb einer Datenbank organisiert werden. Diese Regeln bestimmen, wie Daten in der Datenbank gespeichert und abgerufen werden. Ein Schema ermöglicht es Analysten außerdem zu verstehen, wie verschiedene Elemente (Dimensionstabellen, Faktentabellen) innerhalb einer Datenbank zusammenhängen. Da die Datenbankstruktur zudem vordefiniert ist, können Analysten Daten problemlos aus beliebigen Quellen extrahieren und für Geschäftsentscheidungen interpretieren. 

There are three types of schemas.

1. Star schema

Bei einem Star-Schema ist die zentrale Komponente eine einzelne Faktentabelle. Um die Faktentabelle herum befinden sich Dimensionstabellen. 

‍

‍

Die Faktentabelle speichert alle wesentlichen Geschäftsinformationen, in der Regel als Zahlenwerte. Die Dimensionstabellen enthalten alle Attribute, die sich auf die Daten in den Faktentabellen beziehen. Eine Faktentabelle mit dem Namen „Sales“ kann beispielsweise Verweise auf Attribute wie Produkt-ID, Bestell-ID, Menge, Preis und Rabatt enthalten.

Ein Star-Schema macht das Abfragen von Daten für Berichte schnell und einfach. Es ist darauf ausgelegt, Abfragen zu unterstützen, etwa das Auffinden von Kunden, die einen bestimmten Artikel bestellt haben. 

2. Snowflake

Ein Snowflake-Schema ist nützlich, wenn Unternehmen hochkomplexe Daten für erweiterte Analysen abfragen möchten. 

‍

‍

Ähnlich wie beim Star-Schema befindet sich auch beim Snowflake-Schema eine Faktentabelle im Zentrum, die von mehreren Dimensionstabellen umgeben ist. Hier sind die Dimensionstabellen zusätzlich mit normalisierten Tabellen verknüpft. 

So kann beispielsweise eine Dimensionstabelle „Datum“ über Tabellen für Tag, Woche, Quartal und Monat verfügen. Diese neuen Tabellen können mit der übergeordneten Dimensionstabelle verbunden werden. Das hilft, komplexere Abfragen zu bewältigen. Wenn sich ein Kunde beispielsweise für Produkt A interessiert und später über einen Live-Chat mehr über Produkt B erfahren möchte, enthält die Produktdimensionstabelle spezifische Informationen aus der untergeordneten Dimensionstabelle. 

3. Galaxy

Ein Galaxy-Schema verfügt über mehrere Faktentabellen, die mit mehreren Dimensionstabellen verbunden und verknüpft sind, was es ideal für Organisationen mit komplexen Datenstrukturen und Datenbanken macht. Bei einem Galaxy-Schema ist die Datenredundanz gering, wodurch die Datenqualität präziser ist. Das unterstützt leistungsstarke Analysen und Berichte. 

Data warehouse design architecture 

Bis vor Kurzem waren für Data Warehouses nur ein- und zweistufige Architekturen üblich. Heute ist die dreistufige Architektur die bevorzugte Variante. 

Wie in der Abbildung oben zu sehen, umfasst die unterste Ebene einen Datenspeicher, der Daten aus unterschiedlichen Quellen sammelt. Der Datenspeicher kann Daten aus multidimensionalen oder relationalen Datenbanken aufnehmen. Bevor die Daten jedoch gespeichert werden, werden sie im Rahmen des Extract-, Transform-, Load-(ETL-)Prozesses transformiert. 

Data transformation can include:

• Revising data
• Data cleansing for formatting compatibility
• Format conversions
• Key restructuring
• Deduplication (finding and removing duplicate data)
• Data validation 
• Removing repeat and empty columns 
• Summarization
• Sorting, ordering and indexing 
• Standardization

Die mittlere Ebene besteht aus einem OLAP-Server (Online Analytical Processing). OLAP arbeitet mit zwei Arten von Modellen:

• Multidimensional online analytical processing (MOLAP): Which involves multiple databases
• Relational online analytical processing (ROLAP): Which involves relational databases

Der OLAP-Server ist ein entscheidender Schritt für Endnutzer wie Datenanalysten, da er eine abstrakte Sicht auf die Datenbank bietet und als Vermittler zwischen den Nutzern und der Datenbank fungiert. Die oberste Ebene ist die Benutzeroberfläche aus Frontend-Tools und APIs, mit denen Sie Daten aus dem Data Warehouse abrufen. Dabei kann es sich um beliebige Data-Mining-, Abfrage-, Reporting- und Analysetools handeln.

Types of data warehouse designs 

Je nach den verschiedenen Geschäftsanforderungen gibt es unterschiedliche Möglichkeiten, Ihre Data Warehouses zu gestalten. 

On-prem vs. cloud

In der Vergangenheit wurde die Data-Warehouse-Architektur meist intern umgesetzt, was jedoch mit gewissen Einschränkungen verbunden ist:

• Sie ist teuer, da Unternehmen Server und Platz für deren Unterbringung anschaffen müssen. 
• There are additional costs to hire staff to manage servers, locations, etc. 
• Because it’s self-hosted, scalability can be an issue. 

Im Gegensatz dazu sind heute Cloud-Data-Warehouses weit verbreitet. 54 Prozent der Befragten einer Umfrage gaben an, dass Cloud-Data-Warehousing ein wichtiger Trend ist, dem sie folgen möchten. Das liegt daran, dass sie zahlreiche Vorteile bieten:

• There are no hardware or server costs. 
• Die Umsetzung wird vom Anbieter verwaltet, der wiederum Experten im Hintergrund einsetzt. Das spart erhebliche Einstellungskosten. 
• Sie sind flexibel, und jedes Unternehmen kann sie an seine unterschiedlichen Anwendungsfälle anpassen. 
• Speeds up access to data and saves time.
• Sie zahlen nur für das, was Sie tatsächlich nutzen, was sie erschwinglich macht.

Traditional/batch vs. real-time

Beim traditionellen Ansatz werden Daten aus den Quellen in stündlichen, täglichen oder wöchentlichen Batches geladen. Die Batch-Methode war die am häufigsten genutzte Methode zum Laden von Daten. Da Geschäftsnutzer Erkenntnisse jedoch sofort sehen möchten, setzt sich zunehmend das Echtzeit-Data-Warehousing durch. 

In der Data-Warehousing-Modell in Echtzeit, Daten werden ständig in das Data Warehouse geladen und stehen Datenanalysten zur Verfügung, um Berichte und Prognosen zu erstellen. Endbenutzer erhalten die aktuellsten Informationen und treffen schnellere Entscheidungen.

Ein Kunde möchte beispielsweise die neuesten Informationen über eine von ihm aufgegebene Online-Bestellung erhalten, oder ein Vertriebsleiter möchte Trends anhand neuer Verkaufsdaten auswerten — das ist nur möglich, wenn die Daten in Echtzeit abgerufen werden.

Zu den weiteren Vorteilen eines Data-Warehousing-Modells in Echtzeit gehören:

• Verbessert die Datendemokratisierung, sodass jedes Teammitglied problemlos auf aktuelle und historische Daten zugreifen kann, die es benötigt, um seine Aufgaben zu erledigen und seine Bemühungen zu optimieren.
• Schafft eine Grundlage für fortschrittliche Analysen und maschinelles Lernen, die bei der Gestaltung personalisierter Kundenerlebnisse helfen.
• Verbessert das Tempo, mit dem sich ein Unternehmen weiterentwickelt, und kann auf Veränderungen reagieren.

Schritte beim Data Warehouse-Design

Jedes Data Warehouse-Design unterscheidet sich je nach Geschäftsparametern, Anwendungsfällen und Anforderungen. Hier ist ein allgemeiner Plan, den Sie verwenden und ändern können.

1. Erkennen Sie Geschäftsziele und Benutzerbedürfnisse

Der erste Schritt besteht darin, sicherzustellen, dass Ihr Data Warehouse mit den Geschäftsprozessen kompatibel ist, die Sie derzeit einhalten. Eine weitere wichtige Tatsache besteht darin, sich bei den Stakeholdern Ihres Unternehmens über deren Ziele bei der Nutzung des Data Warehouse zu erkundigen. Dann müssen Sie auch die technischen Anforderungen und Compliance-Standards kennen, die Sie einhalten müssen, bevor die Implementierung beginnt.

Schließlich kann die Beantwortung dieser Fragen den ersten Schritt vereinfachen:

• Wie viele Datenquellen müssen Sie integrieren und wie hoch ist das Datenvolumen?
• Welche aktuellen und zukünftigen Geschäftsanforderungen wird das Data Warehouse erfüllen?
• Bei welchen Fragen hilft das Data Warehouse bei der Beantwortung oder wie löst die Data Warehouse-Architektur Geschäftsprobleme?

2. Wählen Sie ein Datenmodell

Datenmodelle helfen bei der Erstellung der Dokumentation für die Data Warehouse-Implementierung. Sie helfen Modellierern auch bei der Entscheidung, wie Daten strukturiert werden sollen, Beziehungen zwischen verschiedenen Datenpunkten herzustellen und wichtige Kennzahlen festzulegen.

Dateningenieure können zwar Unternehmensdatenmodelle erstellen, dies ist jedoch ein zeitaufwändiger Prozess. Daher ist es eine klügere Option, eine Lösung wie zu verwenden Fivetran das bietet vorgefertigte Datenmodelle. Fivetran normalisiert Daten automatisch, sodass die Modellierungstechnik einfacher und schneller wird.

3. Wählen Sie eine ELT- oder ETL-Lösung

Sie können einen ETL-Prozess (Extract, Transform, Load) oder einen ELT-Prozess (Extract, Load, Transform) für die Datenintegration wählen. Allerdings FILZ ist eine bessere und flexiblere Lösung, da sie immer rohe und frische Daten für die Analyse generiert. Hier finden Sie weitere Informationen über Unterschiede zwischen ELT und ETL Prozesse. Unsere Lösung, Fivetran, verfügt über automatisierte Datenkonnektoren, deren Einrichtung nur wenige Minuten dauert und Ihnen hilft, diese effizient zu erstellen und zu verwalten die ELT-Datenpipelines. Sobald Ihre Modelle und Lösungen festgelegt sind, können Sie auch den Umfang in Bezug auf die zu erbringenden Leistungen, die wichtigsten Personen für jede Aufgabe, ihre KPIs, das Budget und die Zeitpläne definieren.

4. Erstellen Sie Ihre Berichtsschnittstelle

Wie verwenden Sie die Ergebnisse von Datenabfragen, um Geschäftsintelligenz (BI-) Berichte? Dafür sorgen Tools zur Datenvisualisierung und Berichterstattung wie Power BI und Tableau. Entscheiden Sie für diesen Schritt, wie oft Sie Berichte erstellen möchten und wer die Stakeholder für die verschiedenen Berichtstypen sein soll, sodass Sie eine auswählen können Business Intelligence-Tool das Ihren Anforderungen entspricht.

5. Einführung und Durchführung von Assessments

Sobald alle Kernschritte implementiert sind, können Unternehmen Daten in ihre ELT/ETL-Tools aufnehmen, die Daten analysieren und Ergebnisse aus BI-Systemen validieren.

Wie Fivetran helfen kann

Fivetran bietet eine vollständig verwaltete und automatisierte Datenpipeline. Jeder SaaS-Connector verfügt über normalisierte und sofort einsatzbereite Datenschemas. Wenn sich Datenquellen ändern, passen sich diese Schemas automatisch an, sodass Sie die aktuellsten Daten erhalten.

‍

Zweiundfünfzig Prozent der IT-Manager wünschen sich eine schnellere Analyseverarbeitung. Sobald die Daten das Data Warehouse erreicht haben, können Daten mit Fivetran schnell und einfach in analysebereite Modelle umgewandelt werden.

Mit Fivetran können Unternehmen Pipelines aus ihren Datenquellen erstellen, ohne eine einzige Codezeile schreiben zu müssen. Datenwissenschaftler und Ingenieure müssen sich dann keine Gedanken über den Bau und die Wartung von Pipelines machen und diese Zeit mit den geschäftskritischen Dingen verbringen.