Conception d'un entrepôt de données : types, architecture et étapes de mise en œuvre

Enterprises often have data dispersed across departments and teams. Disparate data doesn’t give business leaders a comprehensive and data-oriented view of how their business is growing and where it needs improvement. 

‍

A single source of truth is critical to gain holistic insights. For example, by centralizing all data relating to supply chain management, CRM and customer success metrics in one place, an enterprise can prevent siloed thinking.

Data warehouses are data repositories that consolidate data from disparate sources for reporting and analytics. Data warehouses unify data organization and representation processes so that it’s easy to capture, share and analyze data.

In this post, we’ll look at how you can design a data warehouse for your enterprise and see how Fivetran can help you load data in your data warehouse and drill down to any level of detail you want. 

Two approaches to designing a data warehouse  

The two most widely discussed methodologies for data warehouse designing are the Inmon and Kimball approaches. 

Bill Inmon (Top-down approach)

In the top-down approach, the data warehouse is designed first and then data marts (data structure pertaining to a single business line or team in a company) are created. 

Data engineers first extract data from data sources and transfer it to the data warehouse. You can also have a staging area to store data before it’s moved into a data warehouse. 

Post this; you can extract data from the data warehouse and apply summarization techniques on extracted data and distribute this data to data marts. The benefit here is that since data marts get all their data from a central data warehouse, data remains consistent as it departs from a central place. However, this method can be time-consuming and expensive.  

The Inmon approach is useful if you need enterprise-wide data integration functionality, have a large team of data specialists and don’t have hard time constraints for data analysis. For example, an insurance company may want to adopt the Inmon method because it would give a complete view of their clients, mortality rate, claims history, etc.

Kimball (Bottom-up approach)

In the Kimball approach, data marts are created first based on business requirements and then integrated into a data warehouse. This approach is also called the dimensional data warehouse, where analytical systems can directly access data for analysis. 

The benefit of the Kimball approach is you can build data marts quickly and generate reports faster. Plus, you can slice and dice data to get any info you want and evolve your data design architecture as your business needs evolve.    

For example, you can create data marts for every department, like sales, marketing, finance, and HR. Each department can generate reports and scale up easily by adding new data marts. 

How records are organized in a data warehouse: Schemas

Databases store information in rows and columns. They’re often used to organize data into tables or spreadsheets. However, to use this data, data analysts need to model and define data in a specific way. This is where schemas come in.

A database schema is a collection of rules that define how data is organized within a database. These rules determine how data is stored and retrieved from the database. Schema also lets analysts understand how different elements (dimension tables, fact tables) are related within a database. Also, since the database structure is pre-defined, it makes it easy for analysts to extract data from any source and interpret it to make business decisions. 

There are three types of schemas.

1. Star schema

In a star schema, the core component is a single fact table. Around the fact table are dimension tables. 

‍

‍

Fact table stores all the primary business information, usually in numerics. And dimension tables hold all the attributes related to the data in fact tables. For example, a fact table called “Sales” can have references to attributes like the product ID, order ID, quantity, price and discount.

A star schema makes it quick and easy to query data for reporting. It is designed to support queries such as finding customers who ordered a specific item. 

2. Snowflake

A snowflake schema is useful when enterprises want to query highly complex data for advanced analytics. 

‍

‍

Similar to a star schema’s design, snowflake schema also has a fact table in the center and the fact table is surrounded by multiple dimension tables. Here, dimension tables are further related to normalize tables. 

So say, a “date” dimension table can have tables for day, week, quarter and month. These new tables can connect to the parent dimension table. This helps to handle more complex queries. For example, if a customer is interested in Product A and later wants to know about Product B via a live chat, the product dimension table will have specific info from the child dimension table. 

3. Galaxy

A galaxy schema has multiple fact tables connected and mapped to multiple dimensional tables, making them ideal for organizations with complex data structures and databases. In a galaxy schema, data redundancy is low, which allows the data quality to be more accurate. This helps in powerful analysis and reporting. 

Data warehouse design architecture 

Until recently, only one- and two-tier architectures were prevalent for data warehouses. Presently, three-tier is the most preferred architecture. 

As seen in the image above, the bottom tier includes a data repository that collects data from disparate sources. The data repository can save data from multidimensional or relational databases. However, before the data is stored, data is transformed as a part of the Extract, Transform, Load (ETL) process. 

Data transformation can include:

• Revising data
• Data cleansing for formatting compatibility
• Format conversions
• Key restructuring
• Deduplication (finding and removing duplicate data)
• Data validation 
• Removing repeat and empty columns 
• Summarization
• Sorting, ordering and indexing 
• Standardization

The middle tier consists of an online analytical processing (OLAP) server. OLAP works with two types of models:

• Multidimensional online analytical processing (MOLAP): Which involves multiple databases
• Relational online analytical processing (ROLAP): Which involves relational databases

The OLAP server is a crucial step for end-users like data analysts as it provides an abstract view of the database and acts as a mediator between the users and the database. The top tier is the user interface of front-end tools and APIs that help you get data out of the data warehouse. These could be any data mining, query, reporting and analysis tools.

Types of data warehouse designs 

Based on various business requirements, there are different ways you can design your data warehouses. 

On-prem vs. cloud

Historically, data warehouse architecture was mostly done in-house, but that comes with certain limitations:

• It’s expensive as organizations have to purchase servers and a space to house the servers. 
• There are additional costs to hire staff to manage servers, locations, etc. 
• Because it’s self-hosted, scalability can be an issue. 

In contrast, in current times, cloud data warehouses are widely adopted. Fifty-four percent of respondents in a survey shared that cloud data warehousing is a key trend they’d like to follow. That’s because they come with a lot of benefits:

• There are no hardware or server costs. 
• The design is managed by the vendor, who in turn has experts working behind the scenes. This significantly saves hiring costs. 
• They’re flexible and every enterprise can mold it for their different use cases. 
• Speeds up access to data and saves time.
• You only pay for what you use, which makes it affordable.

Traditional/batch vs. real-time

The traditional design involves loading data from sources in hourly, daily or weekly batches. Batch method was the most used method to load data, but since business users want to see insights instantly, real-time data warehousing design is becoming more prevalent. 

Dans le modèle d'entreposage de données en temps réel, les données sont chargées en permanence dans l'entrepôt de données et sont mises à la disposition des analystes de données pour créer des rapports et des prévisions. Les utilisateurs finaux obtiennent les informations les plus récentes et prennent des décisions plus rapidement.

Par exemple, un client souhaite obtenir les informations les plus récentes concernant une commande en ligne qu'il a passée ou un directeur des ventes souhaite évaluer les tendances à partir de nouvelles données de vente, ce qui n'est possible que si les données proviennent en temps réel.

Parmi les autres avantages d'un modèle d'entreposage de données en temps réel, citons :

• Améliore la démocratisation des données, en permettant à chaque membre de l'équipe d'accéder facilement aux données actuelles et historiques dont il a besoin pour accomplir ses tâches et optimiser ses efforts.
• Crée une base pour des analyses avancées et un apprentissage automatique qui aident à concevoir des expériences client personnalisées.
• Améliore le rythme auquel une entreprise évolue et peut réagir aux changements.

Étapes de conception d'un entrepôt de données

La conception de chaque entrepôt de données diffère en fonction de divers paramètres commerciaux, cas d'utilisation et exigences. Voici un plan commun que vous pouvez utiliser et modifier.

1. Reconnaître les objectifs commerciaux et les besoins des utilisateurs

La première étape consiste à vous assurer que votre entrepôt de données est compatible avec les processus commerciaux auxquels vous adhérez actuellement. Un autre élément essentiel est de vérifier auprès des parties prenantes de votre organisation quels sont leurs objectifs en matière d'utilisation de l'entrepôt de données. Ensuite, vous devez également connaître les exigences techniques et les normes de conformité que vous devez respecter avant le début de la mise en œuvre.

Enfin, répondre à ces questions peut simplifier la première étape :

• Combien de sources de données devez-vous intégrer et quel est le volume de données ?
• À quels besoins commerciaux actuels et futurs l'entrepôt de données répondra-t-il ?
• À quelles questions l'entrepôt de données aidera-t-il à répondre ou comment l'architecture de l'entrepôt de données résoudra-t-elle les problèmes commerciaux ?

2. Choisissez un modèle de données

Les modèles de données permettent de créer de la documentation pour la mise en œuvre de l'entrepôt de données. Ils aident également les modélisateurs à décider de la manière de structurer les données, d'établir des relations entre les différents points de données et d'établir des mesures clés.

Bien que les ingénieurs de données puissent créer des modèles de données d'entreprise, ce processus prend beaucoup de temps. Par conséquent, une option plus sage consiste à utiliser une solution telle que Cinq trains qui propose des modèles de données prédéfinis. Fivetran normalise automatiquement les données afin de simplifier et d'accélérer la technique de modélisation.

3. Sélectionnez une solution ELT ou ETL

Vous pouvez choisir un processus d'extraction, de transformation, de chargement (ETL) ou un processus d'extraction, de chargement, de transformation (ELT) pour l'intégration des données. Toutefois, CEINTURE est une solution meilleure et plus flexible car elle génère toujours des données brutes et actualisées à des fins d'analyse. Voici plus d'informations sur le différences entre ELT et ETL processus. Notre solution, Fivetran, est dotée de connecteurs de données automatisés dont la configuration ne prend que quelques minutes et qui vous permettent de créer et de gérer efficacement les pipelines de données ELT. Une fois vos modèles et solutions définis, vous pouvez également définir la portée en termes de livrables, de personnes clés pour chaque tâche, de leurs indicateurs de performance clés, de budget et de délais.

4. Créez votre interface de reporting

Comment utiliser les résultats des requêtes de données pour créer intelligence d'affaires Des rapports (BI) ? Cela se fait grâce à des outils de visualisation des données et de création de rapports tels que Power BI et Tableau. Pour cette étape, décidez à quelle fréquence vous souhaitez créer des rapports et qui seront les parties prenantes pour les différents types de rapports afin de pouvoir choisir outil de business intelligence qui répond à vos besoins.

5. Déploiement et réalisation d'évaluations

Une fois toutes les étapes essentielles mises en œuvre, les entreprises peuvent intégrer des données dans leurs outils ELT/ETL, analyser les données et valider les résultats des systèmes de BI.

Comment Fivetran peut vous aider

Fivetran propose un pipeline de données entièrement géré et automatisé. Chaque connecteur SaaS est livré avec des schémas de données normalisés et prêts à l'emploi. Chaque fois que les sources de données changent, ces schémas s'adaptent automatiquement afin que vous obteniez les données les plus récentes.

‍

Cinquante-deux pour cent des responsables informatiques souhaitent un traitement des analyses plus rapide. Une fois que les données atteignent l'entrepôt de données, Fivetran permet de les transformer rapidement et facilement en modèles prêts à être analysés.

Fivetran permet aux entreprises de créer des pipelines à partir de leurs sources de données sans écrire une seule ligne de code. Les data scientists et les ingénieurs n'ont donc pas à se soucier de la construction et de la maintenance de pipelines et à consacrer ce temps à ce qui est essentiel pour l'entreprise.