Actuellement, les entreprises et les gouvernements recueillent des data et les surveillent pour découvrir des faits concernant l’efficacité de leurs processus, obtenir des informations utiles et prévoir les résultats futurs. À chaque seconde, chaque personne génère environ 1,7 Mo de data en moyenne. Ces data sont générées en continu par les ordinateurs, les téléphones portables, les capteurs, les appareils mobiles, les écrans, etc. Ainsi, sur la seule année 2022, nous avons généré 97 zettaoctets, et pour vous donner une idée de ce que cela représente, 1 zettaoctet est égal à 1 milliard de téraoctets OU à 1 000 milliards de gigaoctets. Avec un tel volume de data généré chaque jour, il devient particulièrement important de les sauvegarder et des les protéger efficacement, et de les utiliser judicieusement. Ce phénomène a donné lieu à la création d’un tout nouveau secteur : la science et l’analyse des data. Nous allons aborder de manière plus détaillée certaines fonctions dans le domaine de la science et de l’analyse des data.  

Qu’est-ce que l’ETL ?

ETL est un acronyme pour les termes anglais Extract-Transform-Load (extraire, transformer, charger). Vous utilisez ce processus lorsque vous recueillez des data de diverses sources pour les placer dans un immense datawarehouse. Ces data peuvent provenir de databases, d’emplacements cloud, d’API, de capteurs, de moniteurs et de solutions SAAS tierces telles que Salesforce ou Quickbooks, etc. Les data entrantes peuvent être sous divers formats et nécessiter des transformations/coupes avant de pouvoir être chargées dans le datawarehouse. Une fois l’ETL réalisé, les data rassemblées dans le warehouse peuvent servir à l’analyse, au reporting et à la veille économique. L’ETL est un processus continu, car des data sont générées en continu, et les entreprises doivent constamment recueillir, prétraiter et stocker ces data.

Que sont le reverse ETL et l’ELT ?

Le reverse ETL consiste à transférer un sous-ensemble des data cumulées dans votre datawarehouse vers des applications métiers, telles que des outils d’analyse, de CRM, d’automatisation du marketing, etc. L’ELT consiste à extraire,   charger et transformer : vous commencez par charger les data dans le warehouse, quels que soient leur forme et leur niveau de préparation, et les transformez plus tard, juste avant de les utiliser.  

Qu’est-ce que Snowflake ?

Snowflake est un service de datawarehousing proposé à ses clients comme une offre SaaS (Software-as-a-service) sur le cloud. Snowflake permet de créer un datawarehouse en quelques minutes, sans qu’il soit nécessaire de configurer son infrastructure pour stocker toutes ces data. Avec Snowflake, il est inutile de réserver de l’espace de stockage ou de la bande passante, d’installer des logiciels et d’en assurer la maintenance, ou encore de surveiller et de gérer vos silos de data. Snowflake fait tout cela pour vous, et permet de passer des data à l’analyse en très peu de temps.

Snowflake repose sur une infrastructure Amazon Web Service, Microsoft Azure et Google Cloud, et propose ainsi une bande passante et un stockage pratiquement illimités pour la conservation et l’extraction de vos data. Snowflake permet également de réaliser des analyses de vos data en quelques clics, et se prête parfaitement à une utilisation coordonnée avec d’autres logiciels.
Snowflake propose une facturation transparente et gérable. Les unités de stockage et de calcul sont facturées séparément aux clients. Cela permet d’utiliser et de payer les deux services indépendamment l’un de l’autre, en fonction des besoins. Les arguments clés de vente ci-dessus font de Snowflake l’une des premières solutions de datawarehousing cloud au monde.

Qu’est-ce que l’ETL Snowflake ?

Snowflake est connu pour sa polyvalence, sa souplesse et sa facilité d’utilisation par rapport aux autres outils comparables. Snowflake prend en charge l’entrée de data dans de nombreux formats, tels que CSV, JSON, Avro, ORC, Parquet, XML, etc. Ces data entrantes peuvent provenir de nombreuses sources, telles que des databases, des API, des fichiers plats, des services de stockage cloud S3/GCP/Azure, des flux et pipelines data, etc.

Comment fonctionne l’ETL dans Snowflake ?

Snowflake prend en charge le chargement en vrac et le chargement par lots. Vous pouvez également définir des pipelines de data qui feront entrer des data dans Snowflake en fonction de leur disponibilité. Il vous suffit de définir le « stade » : un emplacement où seront stockés les fichiers bruts avant que les data qu’ils contiennent soient placées dans des tableaux. Pour chaque utilisateur et pour chaque tableau, Snowflake affecte automatiquement un stade ; d’autres utilisateurs peuvent affecter des stades « nommés » pour exploiter au maximum la souplesse de chargement des data offerte par la plateforme.

Il est supposé que vos data dans Amazon S3 ont déjà un stade, et il vous suffit d’entrer une commande « COPY INTO <nom du tableau> » pour charger le contenu de votre ou de vos fichiers S3 dans un tableau de database Snowflake spécifique. De même, pour Google Cloud et pour Azure, Snowflake considère que les fichiers de data ont déjà un stade dans un compartiment de stockage cloud, et n’ont besoin que de la directive « COPY INTO <nom du tableau> » pour commencer l’action ETL.

Pour Azure, Snowflake prend actuellement en charge le chargement depuis le stockage blob uniquement, mais la prise en charge sera étendue dans les versions futures. Vous pouvez bien entendu appliquer de nombreux réglages/optimisations aux processus ETL ci-dessus, mais nous pourrons en parler dans une autre publication sur le blog. Une autre fonction intéressante de Snowflake est Snowpipe, qui automatise le processus « COPY INTO <nom du tableau> » ci-dessus. Vous pouvez charger des data par petits lots dans Snowflake, et Snowpipe les mettra à disposition des utilisateurs en quelques minutes, sans qu’il ne soit nécessaire d’entrer manuellement une commande COPY pour chaque lot.

Il existe deux manières d’alerter Snowflake d’un nouveau lot entrant :

1. Messagerie cloud : dès que les data à entrer dans Snowflake sont disponibles dans votre stockage cloud, vous pouvez envoyer une notification d’événement à Snowflake. Snowflake copie alors les nouveaux fichiers de data dans une file d’attente, puis les charge dans le tableau cible en continu et sans serveur, en fonction de paramètres définis dans un objet de tuyau spécifié.

@Source : https://docs.snowflake.com/en/

‍

Comme le suggère la figure ci-dessus, vous pouvez configurer Snowpipe pour les services de stockage cloud ci-dessus.

‍

2. Points d’extrémité de l’API REST Snowflake : Snowflake fournit une API qui permet de lancer le transfert de data, en nommant le point d’extrémité REST du nom d’un objet de tuyau et d’une liste de

noms de fichiers de data.

@Source : https://docs.snowflake.com/en/

‍

Comme indiqué ci-dessus, cette méthode est la plus souple et peut fonctionner parfaitement avec pratiquement tous les services de stockage cloud. Snowflakes prend en charge l’ETL et l’ELT : vous pouvez commencer par charger rapidement vos data dans Snowflake et les transformer ultérieurement. Cette méthode permet de prétraiter plusieurs fois les mêmes data brutes, et de les obtenir sous différents formats, chaque format pouvant être adapté à un outil ou une méthode d’analyse donné.

Avantages liés à l’utilisation de l’ETL Snowflake

Snowflake, comme indiqué ci-dessus, prend en charge diverses sources de data, de nombreux formats de fichiers et des routines de prétraitement. Il offre ses propres fonctionnalités d’analyse et de visualisation/reporting. Il n’est donc pas nécessaire d’utiliser une autre plateforme d’analyse.

Les autres principaux avantages liés à l’utilisation de l’ETL Snowflake sont les suivants :

1. Accepte les data entrantes provenant de solutions de stockage cloud.

Vous pouvez créer et automatiser le chargement continu de data à l’aide de la messagerie cloud, OU utiliser des points d’extrémité de l’API REST pour lancer l’ETL lorsque vous en avez besoin, ou lorsque vos data entrantes présentent des salves irrégulières.  

2. Les points de terminaison de l’API Snowflake REST facilitent l’intégration à vos applications et outils d’analyse existants, tels que Tableau et PowerBI.
3. Une interface Web intuitive facile d’utilisation est également fournie pour ETL.  
4. Vous pouvez contrôler vos dépenses de manière transparente, car Snowflake facture, calcule et stocke séparément. Si vos flux de data sont plutôt statiques mais que vos analyses sont poussées et variées, vous pouvez utiliser plus de calculs et réduire vos coûts de stockage.

Si une grande quantité de data entrantes est générée régulièrement, il est possible d’utiliser plus de stockage pour préserver la synchronisation du datawarehouse avec les dernières data. Vous pouvez par ailleurs limiter le coût de calcul en réalisant des analyses uniquement lorsque des data plus récentes en quantité significative ont été entrées pour le stockage (l’analyse existante a en grande partie été réalisée sur des data d’état, et une grande quantité de nouvelles data est arrivée depuis).  

5. Snowflake, l’un des leaders de ce segment, propose des fonctionnalités de cryptage, d’authentification et de sécurité de pointe.
6. Snowflake innove sans cesse, et ajoute régulièrement de nouvelles fonctionnalités avancées pour ses utilisateurs.

Principaux facteurs pour évaluer les outils d’ETL Snowflake  

Les principaux facteurs à prendre en considérations lors de la comparaison d’outils d’ETL Snowflake sont les suivants :

1. Puissance et polyvalence : pour moi, un outil doit être polyvalent et puissant afin de pouvoir être utilisé dans différents scénarios et avec différents types de data. Je dirais que la facilité d’utilisation vient un peu après, car avec l’explosion des sources de data et la variété des formats de fichiers disponibles, un outil d’ETL doit être suffisamment puissant pour en prendre en charge la plupart, si ce n’est tous. Un bon outil doit donc prendre en charge divers formats et sources de data. Il ne doit pas nécessiter le recours à d’autres outils en cas de changement de formats ou de sources de data.

2. Extensibilité : face à l’émergence de nouveaux formats et sources de data, l’outil doit les prendre en charge directement ou permettre une intégration facile avec d’autres outils. Cette exigence est étroitement liée au premier facteur clé. Parfois, un format de data moins courant ou une source de data utilisée occasionnellement doit être intégré avec Snowflake. Un bon outil d’ETL doit donc proposer une API, des connecteurs ou des services de messagerie, afin qu’un autre outil puisse bien s’y intégrer en cas de besoin.
   

3. Facilité d’utilisation : c’est également un facteur très important car il renforce l’acceptation des utilisateurs et l’efficacité. Aussi polyvalent soit un outil d’ETL, s’il est difficile à utiliser, il ne rencontrera pas de succès OU fera perdre beaucoup de temps, et les utilisateurs passeront à d’autres outils. Aujourd’hui, la plupart des outils offrent des fonctions de glisser-déposer, de pointer-cliquer, et de scriptage simple pour permettre une utilisation efficace.
   
   
4. Transformation des data : les outils doivent proposer toutes les transformations des data prescrites ou fréquemment utilisées. Cela facilite l’analyse des data et leur utilisation immédiate par des processus en aval.
   

5. Tarifs : les outils doivent être proposés à un prix modéré, dans les limites des budgets de la majorité des utilisateurs. Un outil polyvalent trop cher ou un mauvais outil à un prix dérisoire n’auront aucun succès.
   
   
6. Documentation et assistance : une excellente documentation des produits et une assistance rapide permettent d’exploiter pleinement l’outil. Une bonne documentation accélère l’apprentissage et une assistance rapide facilite l’acceptation par les utilisateurs.

Les 7 meilleurs outils d’ETL Snowflake de l’année 2023

Nous étudierons ensuite comment certains outils répandus d’intégration et d’analyse des data se situent les uns par rapport aux autres en matière d’intégration et de fonctionnement avec Snowflake. De grandes entreprises ont de nombreux datasets correspondant à leurs divers processus métier, et ces datasets peuvent se présenter sous différents formats et à différents emplacements. Par exemple, elles peuvent conserver leurs data de ventes/CRM dans Salesforce, leurs data opérationnelles/RH dans une database locale et leurs data comptables dans Quickbooks. Toutes ces data doivent être regroupées et fonctionner ensemble correctement afin de réaliser des analyses portant sur cet ensemble intégré et de bien comprendre le fonctionnement des processus métier. Les outils d’intégration des data facilitent le recueil, les coupes, la comparaison et la connexion des data.

1. Fivetran :

Nous abordons Fivetran en premier car c’est l’un des outils les plus utilisés, à la pointe de l’innovation et de l’amélioration continue. Fivetran propose plus de 300 connecteurs source sans code intégrés, et prend en charge de multiples formats et sources de data.

@source : https://fivetran.com/docs/

Avec la gestion automatisée de la dérive des schémas, Fivetran prend en charge les schémas dynamiques, et vous n’avez pas besoin de spécifier vos structures de data/colonnes de tableaux avant d’importer vos data. Vous pouvez simplement ajouter vos data, et spécifier le DDL plus tard.

Vous pouvez également créer et mapper automatiquement les schémas, si bien qu’il suffit de spécifier une fois les définitions des data. Fivetran comporte par ailleurs des modèles data intégrés très utiles, conçus selon les sources de data les plus populaires, qui transforment vos data de destination en datasets prêts pour les analyses.

Par exemple avec des objets Salesforce qui ont un mappage disponible dans Fivetran, le programme transforme les objets Salesforce entrants en objets/modèles de sortie Fivetran parfaitement adaptés à des analyses immédiates.

@source : https://fivetran.com/docs/

Fivetran prépare, transforme et enrichit automatiquement vos objets de data tout en se synchronisant avec les connecteurs en amont. Par ailleurs, des modèles de data à démarrage rapide intégrés permettent de les utiliser immédiatement dans Fivetran, sans créer votre propre projet dbt.

1) Fivetran veille à ce que vos data soient à jour et actualisées pratiquement en continu, de sorte que vous réalisiez toujours des analyses sur les data les plus récentes.

2) Fivetran facilite la configuration et propose l’automatisation du pipeline data avec un minimum de maintenance.  

3) Prend en charge la modélisation SQL avec des schémas définis et des ERD afin que le processus d’analyse soit facile et intuitif.

4) Fivetran peut être exécuté dans des environnements entièrement gérés, hybrides ou entièrement auto-hébergés pour s’adapter aux besoins et aux politiques de chacun.  

5) Les capacités de réplication à grand volume de Fivetran permettent d’atteindre un débit de plus de 50 Gbits/h.

@source : https://fivetran.com/docs/

La planification intégrée de Fivetran facilite considérablement l’orchestration de vos pipelines data, et déclenche automatiquement des exécutions de modèles après la synchronisation du connecteur Fivetran dans votre warehouse.  Fivetran prend parfaitement en charge le Reverse ETL et l’ELT.

Avantages :

• Modèles data intégrés pour la majorité des sources de data courantes
• Réplication de data pratiquement en temps réel  
• Configuration rapide et maintenance facile des pipelines existants
• Excellente assistance, documentation facile à utiliser

Inconvénients :

• Vous pouvez associer un modèle de data à démarrage rapide à un seul connecteur, bien que cela soit fait pour rendre le mappage plus efficace
• Besoin de comprendre le modèle tarifaire pour conserver de faibles coûts

Tarification :

Avec Fivetran, vous ne payez que les monthly active rows (MAR), et lorsque les volumes augmentent, le coût par ligne diminue. Pour un petit volume de data, vous pouvez traiter 2 millions de MAR pour près de 1 000 $. Pour un énorme volume de data, vous pouvez traiter 70 millions de MAR pour près de 10 000 $. Il existe toujours une offre gratuite pour commencer, se familiariser avec sa dynamique de data et avec les tarifs de Fivetran, puis passer à un programme payant.

2. Talend

Talend se positionne davantage comme un outil d’intégration des data, et ne propose pas de véritable fonctionnalité de veille économique. Il est donc intéressant de l’aborder ici. Talend fournit plus de 100 connecteurs pour diverses sources, et pourrait être utile si vous avez de nombreuses sources disparates de data entrantes. Il fournit des fonctionnalités de qualité de data (prétraitement et contrôles), de big data et d’intégration des applications, ce qui explique son grand succès. Les fonctionnalités d’intégration continue de Talend réduisent le coût de gestion et de déploiement des référentiels. Avec sa fonctionnalité de MDM (gestion des data maîtresses), Talend veille à la synchronisation de votre warehouse avec les flux de data de mises à jour continus, et vous travaillez sur la dernière version de vos data.

Avantages :

• Traite les data entrantes ligne par ligne, ce qui facilite la mise en œuvre des transformations conditionnelles
• Talend prend en charge les schémas dynamiques (structure de tableau). Vous ne devez donc pas connaître toutes les colonnes de vos tableaux avant d’importer vos data. Les éléments de data peuvent être classés ultérieurement, en fonction de l’utilisation prévue.
• Prend en charge le codage Java pour les personnalisations spécifiques à l’activité

Inconvénients :

• Les fonctionnalités de streaming de l’édition communauté sont limitées. De plus, elle est difficile à installer et à utiliser pour la première fois.
• Les fonctionnalités de planification sont limitées.
• La gestion des erreurs n’est pas au niveau des autres outils, et certains messages d’erreur ne sont pas explicatifs.
• Convient mieux aux applications de big data que les databases traditionnelles.
• Vous devez souscrire des extensions payantes pour de nombreuses tâches, telles qu’un package de big data en temps réel, pour des tâches de streaming et d’apprentissage machine efficaces.
• Prise en charge limitée pour le test des unités de composants dans l’édition gratuite.

3. Matillion  

Nous allons également parler de Matillion, une autre solution de datawarehousing cloud leader. L’ETL de Matillion permet de réaliser de puissantes transformations combinées afin de mettre en œuvre des procédures métier complexes.  

Avantages :

• Assure l’orchestration de la planification, permettant l’ingestion lorsque des data sont disponibles, ce qui favorise le maintien de la synchronisation de votre warehouse avec les data les plus récentes.
• Interface par glisser-déposer facile d’utilisation
• Facilite la collaboration entre les membres de l’équipe, le contrôle des versions, la technologie Push-down ELT et plus de 80 connecteurs prêts à l’emploi pour d’autres produits de data.
• Snowflake a investi dans Matillion pour amener des connecteurs natifs sur le Snowflake Data Cloud : la garantie d’une qualité irréprochable.  

Inconvénients :

• Parfois, les fonctionnalités de collaboration peuvent générer de la confusion/des points de blocage lorsque les membres de l’équipe lancent des processus en conflit.
• Matillion pour Snowflake ne prend pas en charge de connecteur DynamoDB ETL.
• Capacité de mise en cluster limitée. Le traitement des gros datasets prend donc beaucoup de temps

Tarification :

Les unités de tarification Matillion sont également nommées crédits. Les crédits sont consommés par nombre de lignes chargées par Matillion Data Loader, et par heures Virtual Core utilisées pour exécuter des instances d’ETL de Matillion.

Les tarifs vont de 2,00 $ par crédit (moins de fonctionnalités) à 2,70 $ par crédit (toutes les fonctionnalités). Ce tarif permet d’utiliser Matillion dans son ensemble avec tous ses connecteurs, y compris le connecteur Snowflake.

4. Integrate.io

Integrate.io est un autre outil polyvalent avec une couche d’intégration pour votre datawarehouse. Integrate.io propose une plateforme de pipeline data sans code, et alimente les datawarehouses avec ETL, ELT, CDC, Reverse ETL et API Management. Integrate.io comporte une fonctionnalité secureETL pour garantir la sécurité de vos data et leur conformité aux normes les plus récentes, telles que le PHI, le RGPD (Europe), l’HIPAA, etc. Un partenariat entre Integrate.io et Amazon Key Management Service (KMS) permet le chiffrement sur le terrain (FLE), afin que vos data soient toujours cryptées à la sortie de votre réseau.

Avantages :

• Propose l’une des fonctionnalités de réplication de data ELT les plus rapides du secteur, et maintient la synchronisation de vos data avec les mises à jour réalisées il y a 60 secondes seulement.
• Connecte + de 150 sources et destinations de data. Pourrait comporter tous les connecteurs requis pour des outils dans votre pile technologique.
• L’interface sans code par glisser-déposer facilite la définition des transformations et la connexion de vos sources de data.
• Bonne équipe d’assistance

Inconvénients :

• Cher par rapport à la plupart des alternatives comparables
• Les rapports d’erreur ne mènent pas toujours à la cause de l’erreur.
• L’interface devient complexe avec l’augmentation du nombre et de la complexité de vos pipelines.
• 
  

Tarification :

Integrate.io suit une stratégie simple de tarification à prix fixe, au connecteur, qui n’évolue pas en fonction de l’emplacement ni du volume de data. Le nombre d’utilisateurs est illimité. Le tarif du produit de base commence à 18,000 par an, avec + de 20 connecteurs de database natifs, y compris des services de big data, et les connecteurs supplémentaires sont facturés à 2 000 $ par an et par connecteur.  

5. Informatica  

Informatica est l’une des principales plates-formes d’intégration de data. Elle repose sur les méthodologies d’ETL et propose également des fonctionnalités d’analyse. Informatica, en tant que partenaire élite de Snowflake, bénéficie d’une intégration en profondeur et bien définie avec Snowflake. Le connecteur Snowflake d’Informatica facilite l’intégration et la lecture/écriture des data dans Snowflake.
Il permet le traitement de volumes de data pratiquement illimités, à une vitesse appréciable.

Il offre également un mode de transaction atomique pour les déclarations DDL et DML, des fonctionnalités de gestion des erreurs, par exemple les notifications et les alertes n’ont pas besoin d’utiliser de DDL grâce à la création pendant l’exécution de tableaux cibles dans Snowflake. Comme le connecteur repose sur JDBC, il offre un chiffrement SSL 128 bits de bout en bout. Il gère également vos clés (par exemple les clés privées pour le chiffrement) dans un référentiel sécurisé. Il gère en outre les accès en fonction de rôles et assure l’authentification. Informatica prend en charge l’ETL et l’ELT, et peut être exécuté sur place ainsi que sur le cloud/AWS. Informatica est évolutif et prend en charge la poussée complète ODBC pour accélérer le traitement des data. Par ailleurs, la prise en charge du partitionnement facilite la reproduction de pipelines de data parallèles de bout en bout.

Avantages :

• Facile à installer, à configurer et à utiliser.
• Souple, car il prend en charge la configuration et le contournement de pratiquement toutes les propriétés pendant le fonctionnement.  
• Respecte les « bonnes pratiques » Snowflake pour les lectures et écritures de data, ce qui en fait l’un des connecteurs les plus rapides du marché.
• Conserve un cache pour accélérer la lecture des data
• Vous pouvez facilement réutiliser/migrer votre connexion configurée dans un environnement vers un autre.
• Excellente documentation, base d’utilisateurs et mises à jour régulières.

Inconvénients :

• Un peu cher car les deux acteurs prennent une partie du gâteau.
• Restrictions dans le mandat de migration : les tableaux et objets aux deux extrémités doivent être les mêmes.
• Prend en charge la poussée uniquement via le pilote ODBC. Vous devrez donc peut-être réaliser une personnalisation (par programmation) de votre côté si vous prévoyez d’utiliser des connecteurs JDBC ou d’autres DB.

7. Streamsets

Streamsets est également un outil intéressant. Il permet l’intégration des data pour les environnements hybrides et multi-cloud. Il propose des pipelines résilients et une interface unique pour gérer le cycle de vie des data. Basé sur DataOps, il gère mieux la complexité et la diversité des data que beaucoup d’autres produits. DataOps est un ensemble de bonnes pratiques et de technologies pour la gestion et l’intégration efficaces des data qui subissent des modifications/mises à jour constantes en garantissant la résilience et l’agilité.

Avantages :

• Gère mieux la dérive des data en suivant les méthodologies DevOps
• Traite efficacement la diffusion en continu et les data liées à des enregistrements.

Inconvénients :

• Toute modification de la configuration de pipelines déjà configurés interrompt l’ingestion pendant un certain temps.
• L’intégration avec certains moteurs d’analyse/ML open source tels qu’Apache Spark est difficile.

Tarification :

À partir de 1 000 $ par mois pour 50 pipelines publiés + 5 tâches actives + jusqu’à 5 utilisateurs, avec une promesse de 99,9 % de disponibilité selon les accords de niveau de service  

Conclusion :

Nous avons abordé plusieurs outils d’ETL pour Snowflake, avec leurs avantages et leurs inconvénients. Nous avons essayé de souligner les caractéristiques uniques de chaque outil, ainsi que certaines des limites et des difficultés associées. En fonction de votre pile technologique et de votre mix d’applications, vous pouvez choisir l’outil le mieux adapté à vos besoins actuels et futurs. Nous espérons que cet article vous aidera à prendre une décision mûrement réfléchie.