Chez Fivetran, nous comprenons les complexités et les défis de la gestion des data lakes. C'est pourquoi nous sommes heureux de vous présenter notre dernière innovation : Le service Managed Data Lake (gestion des data lakes) de Fivetran. Cette nouvelle offre est conçue pour automatiser et rationaliser la gestion de votre data lake, ce qui vous permet de vous concentrer sur ce qui compte vraiment : exploiter vos données et stimuler l'innovation. Le service Managed Data Lake de Fivetran est actuellement disponible sur Amazon S3, Azure Data Lake Storage (ADLS) et Microsoft OneLake.

Le service Managed Data Lake de Fivetran permet de transformer des data lakes ne faisant traditionnellement l’objet d’aucune gouvernance en magasins de données organisés, gouvernés et optimisés en permanence. Grâce à des intégrations natives avec des catalogues de données tels que AWS Glue, Databricks Unity Catalog et Polaris Catalog, les utilisateurs peuvent rapidement découvrir, accéder à, et gérer des ensembles de données clés à partir du data lake. À partir de là, les utilisateurs peuvent interroger et modifier les données avec Python, SQL ou d'autres langages pris en charge, en s'appuyant sur des moteurs de calcul compatibles tels que Databricks, Snowflake, Starburst ou Redshift. Ils peuvent également transformer les données avec des outils tels que dbt, les visualiser avec Power BI ou élaborer et déployer des modèles d'IA/ML avec des outils tels que AWS Sagemaker, Azure Machine Learning ou Databricks Mosaic AI.

La puissance d'un service de gestion de data lake

Les data lakes sont essentiels pour les organisations qui cherchent à exploiter les big data pour l'analyse, l'apprentissage automatique et l'IA. Cependant, la maintenance d'un data lake - gérer l'ingestion des données, assurer la qualité des données, gérer les modifications de schémas et optimiser les performances - peut nécessiter beaucoup de ressources et s'avérer compliquée. Conscient de ces défis, Fivetran a développé un service qui non seulement simplifie ces tâches, mais transforme également les data lakes, les faisant passer de lourds magasins de données en environnements de données dynamiques, efficaces et gouvernés.

Le service Managed Data Lake de Fivetran intègre automatiquement des données provenant de plus de 600 sources préconfigurées ou personnalisées, puis les normalise, les compacte et les déduplique avant de les intégrer dans votre data lake aux formats de table ouverte Delta Lake ou Apache Iceberg. En automatisant cette conversion, nous fournissons les fonctionnalités typiques des data warehouses, telles que les transactions ACID et le traitement évolutif des métadonnées, directement sur le data lake. À partir de là, nous surveillons et actualisons en permanence votre data lake, en gérant les mises à jour, les fusions et les suppressions, afin de garantir qu'il est toujours optimisé, à jour et prêt à répondre aux requêtes.

Ce niveau d'automatisation et de maintenance est crucial pour de nombreuses organisations. Comme l'explique Nick Chmura, Head of Data chez Luma Financial Technologies, « la maintenance automatisée des tables est la fonction phare de Fivetran, car nous disposons d'un très grand nombre de connecteurs de sources différents. Essayer de mettre en place un Change Data Capture et le gérer pour tout... serait d'un coût prohibitif en termes de temps ».

Les fonctionnalités clés et avantages

• Intégration automatisée des données : Fivetran prend en charge l'ingestion à partir de plus de 600 applications, bases de données, fichiers et sources de données d’événement, ce qui permet une intégration fluide dans n'importe quelle destination majeure de data lake. Cela garantit que toutes vos données sont consolidées, organisées et facilement accessibles. Fivetran couvre également les coûts d’ingestion dans votre data lake, ce qui réduit considérablement votre coût total de possession.
• Normalisation des données sur des formats de table ouverts : En normalisant et en standardisant vos données dans des formats de table ouverts prêts à être interrogés (Apache Iceberg ou Delta Lake), nous vous permettons d'effectuer plus facilement des analyses et d'obtenir des informations sans les difficultés et les coûts de calcul liés à la conversion manuelle des données dans un format standard.
• Maintenance continue : Fivetran prend en charge tous les aspects de la maintenance continue du data lake, de l'évolution des schémas à l'optimisation des performances. Cela garantit que votre data lake est toujours à jour et qu'il fonctionne de manière optimale.
• Outils de gouvernance robustes : Grâce aux fonctionnalités intégrées de gouvernance des données et aux intégrations natives avec les catalogues de données les plus courants, vos données sont non seulement bien gérées, mais également conformes aux normes et réglementations du secteur, telles que le GDPR.

« Nous sommes très heureux que Fivetran prenne en charge Delta Lake en tant que destination directe », a déclaré Himanshu Raja, Director of Product chez Databricks. « Grâce à cette nouvelle fonctionnalité, les clients peuvent désormais utiliser Fivetran pour développer un lakehouse ouvert avec Delta Lake, optimisé par la Data Intelligence Platform de Databricks. Nous sommes également très enthousiastes quant à l'intégration prochaine de Fivetran avec Unity Catalog afin de fournir des fonctions de gouvernance et de sécurité prêtes à l'emploi pour toutes les tables générées par Fivetran ».

Nous serions ravis de vous voir essayer le nouveau service Managed Data Lake, mais il ne constitue pas la solution idéale pour tout le monde. Si votre organisation s'appuie principalement sur des données en temps réel avec des latences inférieures à la seconde, ou si vous préférez ne pas utiliser un format de table ouvert comme Delta Lake ou Iceberg, ce service n'est peut-être pas le choix idéal. Nous vous encourageons toutefois à nous contacter - nous avons d'autres options de data lake qui pourraient mieux correspondre à vos besoins.

Prêt à découvrir l'avenir de la gestion des data lakes ?

Avec le service Managed Data Lake de Fivetran, nous rendons les données aussi accessibles et fiables que l'électricité, ce qui permet aux entreprises de saisir de nouvelles opportunités et de stimuler l'innovation.

Les données continuant à être un atout essentiel pour les entreprises, il devient crucial de les gérer de manière efficace et efficiente. Nous automatisons et gérons entièrement la normalisation des données au fur et à mesure que nous les déplaçons vers des data lake, les mettant à la disposition des entreprises pour qu'elles trouvent de nouvelles façons d'innover avec les données.

Le lakehouse

Les utilisateurs de Fivertan peuvent maintenant essayer notre service Managed Data Lake en l’utilisant gratuitement de juin à août. Les connecteurs mis en place vers de nouvelles destinations de Data lake seront éligibles à cette promotion estivale*.

Pour bénéficier de cette promotion, vous devez :

• Avoir un compte Fivetran en règle, et
• Créer un nouveau connecteur avec S3, ADLS ou OneLake comme destination pendant la période de promotion (entre le 1er juin 2024 à 00:01 UTC et le 31 août 2024 à 23:59 UTC).

Pour commencer, allez d'abord directement dans votre tableau de bord Fivetran, inscrivez-vous pour un essai gratuit de 14 jours de Fivetran ou contactez sales@fivetran.com si vous avez des questions.