La pile d’analyse de data s'organise en trois étapes : extraction, chargement, transformation et analyse. Les entreprises disposent de plusieurs alternatives logicielles pour permettre aux analystes d’extraire et de charger des data, ainsi que d’exécuter des requêtes. Cependant, la phase de transformation nécessite tout de même une réelle expertise. Pour transformer les data, vous aurez besoin d’un ingénieur data ou d’un administrateur de database (DBA) qui comprend le fonctionnement des databases. Pour autant, ce processus n'a pas besoin d'être manuellement créé par un DBA à chaque nouveau projet.

dbt est un outil de modélisation et de transformation de data produit par dbt Labs, anciennement Fishtown Analytics. Il s'agit d'une solution open source basée sur SQL qui simplifie la transformation des données. Elle est également capable de l'accélérer et de construire des pipelines de data plus rapidement. Les utilisateurs modélisent leurs data à l’aide d’affirmations SQL SELECT. Ils créent des relations et dépendances entre les modèles puis les matérialisent sous forme de tables et de vues dans un data warehouse. À partir de là, on peut facilement transformer ces modèles en veille économique.

[CTA_MODULE]

Qu’est-ce que la modélisation de data?

Étant donné qu'elle concerne l’analyse de data, la modélisation de data est le processus visant à ordonner les données provenant de sources diversifiées. Cela signifie transformer les tables en différents schémas ou même des databases en vues ou tables uniques décrivant un système ou un processus d’entreprise. Une fois les data modélisées, il est beaucoup plus simple d’en tirer de la valeur, que ce soit sous forme de rapports/tableaux de bord ou de base d’analyse prédictive ou prescriptive.

Un projet dbt est un répertoire de fichiers SQL et YAML utilisé pour transformer vos data. Un fichier YAML contient des informations sur la configuration du projet. Chaque modèle contient une affirmation SQL SELECT unique qui transforme les data d’une certaine manière.

SQL a longtemps été le langage de prédilection des analystes développant des transformations et réalisant les analyses. Par conséquent, la décision de dbt de créer un modèle de fichier sous forme d’affirmation SQL SELECT signifie que les analystes n’ont plus besoin d’apprendre un nouveau langage ni d'utiliser un nouvel outil. Ils peuvent transformer librement les data, de la même manière qu’auparavant. L’utilisation de SQL facilite la collaboration et favorise une meilleure compréhension de vos transformations.

Les packages dbt sont des projets dbt autonomes qui tirent parti de la modularité des projets pour créer des modules sur une zone problématique spécifique, disponibles pour une utilisation ultérieure, de manière similaire à une bibliothèque de code. Ces packages contiennent des éléments SQL préconstruits, ce qui réduit considérablement la nécessité de réaliser des transformations manuelles de code. Fivetran développe et entretient des packages dbt open source connus sous le nom de modèles data, qui modélisent des données provenant de schémas uniques et de sources multi-schémas. Ces packages dbt Fivetran tirent profit des principes de modélisation de data et de la modularité du code pour transformer les données de manière efficace à des fins d’analyse prescriptive, prédictive ou exploratoire. En savoir plus sur les modèles de data Fivetran et sur leur utilisation ici.

Les fichiers YAML ne sont pas seulement utilisés pour configurer votre projet dbt, mais également pour former un dictionnaire de data provenant de vos sources et données transformées. Ils permettent aussi d'appliquer des tests d’intégrité data. S’ils sont utilisés efficacement, votre projet dbt contiendra une définition de chaque table brute issue des sources, et de chaque table transformée issue de votre schéma dimensionnel. Vous disposerez aussi d’une description de chaque champ au sein de ces tables. De plus, vous pourrez appliquer des tests à certains champs (par exemple, un champ de clé primaire doit toujours être unique) et tester vos data pour vous assurer de leur intégrité.

Les modèles sont modulaires, de sorte que vous puissiez reproduire une transformation dans plusieurs projets. Tous les développeurs vous diront à quel point réutiliser des codes est utile pour économiser du temps et des efforts. Un projet peut également inclure des fichiers de test, de macro et de documentation.

dbt propose deux produits principaux. dbt Core™ est un outil gratuit et open source qui contient tout ce que dont les équipes techniques ont besoin pour transformer les data. Il vous permet de déployer vos propres pipelines ELT, une logique de compilation SQL, des modèles Jinja, des adaptateurs de database, des cadres de test et de la documentation.

dbt Cloud™ est lui une solution payante, idéale pour les équipes qui souhaitent progresser rapidement de manière hautement coordonnée. Rapide et fiable, cet outil dispose d’une IDE simple d'utilisation permettant de planifier des tâches, d’obtenir des journaux et des alertes centralisés. Il fournit également diverses fonctions, telles qu'un CI/CD avec Slim CI.

Lorsque vous choisirez entre ces deux produits, prenez en compte votre structure d’équipe et ses compétences. Peu importe votre choix, dbt vous aidera à moderniser votre approche de transformation de données.

dbt est-il une solution ETL?

dbt est-il une solution ETL (extraction, transformation, chargement) ? Non, dbt est un outil de transformation de data. Cependant, dbt fonctionne avec Fivetran. Vous pouvez donc l'utiliser dans le cadre de vos processus ELT, de bout en bout.

En 2020, nous avons lancé notre intégration avec dbt et notre bibliothèque de modèles data est constamment mise à jour. L’intégration de Fivetran avec dbt Core permet aux équipes data d’orchestrer, gérer et surveiller les transformations de data à partir du même outil que celui qu’elles utilisent pour extraire et charger les data, sans frais supplémentaires. De plus, nous améliorons l’expérience de modélisation avec une planification entièrement intégrée et des graphiques de traçabilité des data, fournissant ainsi aux équipes des outils plus efficaces et une meilleure automatisation.

Transformez sans plus attendre vos data avec Fivetran, grâce à notre guide de configuration et à nos vidéos présentées par des experts.

Et pour simplifier encore plus le processus de transformation de data, nous avons récemment lancé les modèles de data à démarrage rapide. Ceux-ci vous permettent de transformer vos data de connecteur en tableaux utilisables, en quelques clics seulement. Aucun projet dbt, outil tiers ou code requis. Si vous souhaitez en savoir plus sur dbt, dbt Labs dispose de nombreuses ressources, notamment sa propre documentation de lancement, ainsi que de liens vers des exemples de projet.

Un avenir prometteur

L’analyse de data est un secteur d’activité en pleine expansion. L’effervescence autour d’entreprises comme Snowflake et Databricks le montre bien. dbt Labs a connu une croissance fulgurante depuis sa création en 2016, par des anciens employés de RJMetrics. En juin 2021, l’entreprise a récolté plus de 150 millions de dollars grâce à une série C.

L’entreprise est pionnière dans les produits de transformation de data, mais n’est pas la seule présente sur le marché. Dataform, une entreprise moins ancienne, était un concurrent direct de dbt avant son rattachement à Google Cloud en 2020. Plus récemment, Coalesce.io est entré sur le marché avec une approche GUI par glisser-déposer pour les transformations de data. Bien que le secteur évolue, dbt continue d’être le choix de prédilection pour ceux qui souhaitent intégrer de bonnes pratiques d’ingénierie data à leurs processus de transformation de data.

Vous pouvez essayer dbt par vous-même, mais l’outil est plus efficace dans le cadre du pipeline de data complet fourni par Fivetran. Prenons le cas de Ritual, dont l’équipe data a pu remplacer ses fichiers LookML et ses scripts Python dispersés grâce à dbt et Fivetran. Ritual a utilisé les capacités de test automatisé et d’actualisation des data de dbt pour augmenter de 68 % le développement de nouvelles fonctionnalités.

Citons encore le cas de SpotOn, qui a pu transformer des milliers de lignes de code manuelles et de modèles data en analyses pour ses clients, le tout cinq fois plus vite. Cette entreprise dispose dorénavant des outils qui lui manquaient pour satisfaire ses besoins et se développer, sans avoir à réaliser d’investissements supplémentaires.

Inscrivez-vous pour obtenir une version d’essai gratuite de Fivetran et découvrir comment simplement connecter plus de 300 sources de data, extraire des data, les charger dans un data warehouse ou un data lake, les transformer à l’aide de Fivetran puis les utiliser pour dynamiser votre entreprise.

[CTA_MODULE]