Automatisez la gestion des data lakes avec Fivetran

Notre approche consistant à déplacer et à stocker les data dans un data lake offre à nos clients des fonctionnalités de gestion des data qui rappellent celles des data warehouses. La conversion automatisée vers les formats de tables Apache Iceberg et Delta Lake révolutionne les data lakes, les transformant de référentiels chaotiques en data stores structurés et bien gérés. Cette transformation rationalise les opérations, renforce la gouvernance et améliore la convivialité, marquant ainsi une avancée significative dans l'exploitation efficace des data pour obtenir des informations commerciales et favoriser l'innovation. Découvrez les fonctionnalités du Service Managed Data Lake (Gestion de data lakes) Fivetran.

Les data lakes séparent explicitement la couche de stockage du data warehouse en un format distinct et indépendant du fournisseur dans un stockage objet, afin de créer une couche de stockage universelle. Ainsi, vous ne déplacez vos data qu'une seule fois, mais pouvez les interroger selon vos besoins à partir des meilleurs services adaptés à votre charge de travail. Cela signifie que plusieurs moteurs d'exécution spécialisés peuvent interagir avec le même data lake, via un catalogue qui gère les transactions et les autorisations granulaires. Découvrez comment les data lakes réduisent le coût total de possession.

Oui ! Les clients du forfait Business Critical ont la possibilité de se connecter à leur data lake via un chemin de réseau privé qui maintient le trafic hors de l'Internet public. L'accès au stockage objet sur chaque cloud s'effectue via des points de terminaison publics, mais le routage du trafic est sécurisé sur le réseau dorsal interne du fournisseur de cloud. Les politiques de buckets limitent l'accès à la seule région de traitement appropriée. Nous prenons en charge les mécanismes de mise en réseau privée par défaut de chaque grand fournisseur de cloud : AWS Gateway Endpoints, Azure Virtual Network Service Endpoints et Private Google Access de Google Cloud. En savoir plus sur la mise en réseau privée pour les data lakes.

Oui ! Le Service Managed Data Lake (Gestion de data lakes) Fivetran inclut par défaut un catalogue REST Iceberg auto-hébergé (Apache Polaris) afin de garantir une expérience fluide et pleinement fonctionnelle dès la mise en service pour la gestion des tables Apache Iceberg, qui nécessitent un catalogue pour gérer les transactions ACID. Vous avez également la possibilité d'utiliser votre propre catalogue externe, tel qu'AWS Glue, Databricks Unity Catalog, BigQuery Metastore ou OneLake, et d'utiliser le catalogue REST Iceberg comme solution de secours et pour des scénarios avancés de gestion des metadata. En savoir plus sur la prise en charge des catalogues pour les data lakes.

Le Service Managed Data Lake (Gestion des data lakes) Fivetran convertit les data sources en fichiers Parquet dans le pipeline et les stocke dans des tables désignées de votre data lake. Il est préférable d'utiliser les metadata des tables pour lire ou interroger vos data — celles-ci sont disponibles dans les standards de table Iceberg et Delta Lake dans votre catalogue. Découvrez comment interroger les data de votre data lake.