Pile de data
- Pipeline : Fivetran
- Sources : plus de 40 sources dont PostgreSQL, SQL Server, Oracle, NetSuite, Workday, Salesforce
- Destinations : Snowflake, AWS Data Lake
- Transformations : dbt Cloud
Autodesk est une entreprise du Fortune 1000 qui crée des produits logiciels pour plusieurs secteurs mondiaux. En proposant plus de 100 produits couvrant l’architecture, l’ingénierie et la construction, la conception et la fabrication de produits, ainsi que les médias et le divertissement, vous avez probablement déjà vu un lieu ou un produit dans lequel un logiciel Autodesk est central, qu’il s’agisse de gratte-ciel ou d’images de films.
Un portefeuille étendu de produits logiciels s’accompagne de gros volumes de data. En fait, il s’agit de pétaoctets de data. L’entreprise fait appel à Mark Kidwell, architecte data principal des plateformes et services data, pour gérer sa plateforme data d’analyse.
Les principales responsabilités de Mark Kidwell sont les suivantes :
- Moderniser et optimiser les plateformes data à l’aide des meilleurs outils disponibles en vue d’améliorer les performances tout en maîtrisant les coûts
- Accélérer la fourniture de data aux équipes qui en ont besoin pour l’analyse, notamment le marketing, les ventes, les résultats et les produits
Fourniture de data en tant que service avec des pipelines fiables
La plateforme data d’analyse d’Autodesk constitue le centre de référence pour les équipes et qu’elles puissent comprendre l’utilisation critique des produits : tout ce qui concerne les abonnements, le comportement des clients et l’intégrité de l’entreprise. Mais en disposant d’une architecture de data lake, l’accès aux data pour l’analyse était compliqué et fragile.
« Nous ne pouvions même pas ne serait-ce que nous rapprocher du libre-service avec nos anciens outils et processus. Nous disposions d’une équipe centrale d’ingestion qui s’occupait uniquement des demandes d’ingestion : il s’agissait de la seule équipe capable d’effectuer cette tâche »
- Mark Kidwell, architecte data principal des plateformes et services data
Pour permettre à plus de 13 000 employés au sein de l’entreprise d’accéder à des data en libre-service, Mark Kidwell savait que les ensembles de data analytiques devaient être hébergés dans un data warehouse afin de pouvoir être facilement interrogés. Mark Kidwell s’est tourné vers des outils de data modernes, notamment Fivetran, Snowflake et dbt, pour réorganiser l’ingestion, la transformation et l’orchestration.
« Le choix est simple entre un pipeline de bas niveau non géré qui présente des défaillances et un pipeline [comme Fivetran] qui gère l’évolution des schémas, le back-fill et d’autres cas que nous savons ne pas pouvoir prendre en charge », ajoute Mark Kidwell.
Cette évolution vers une pile de data moderne a représenté un effort d’entreprise important impliquant plusieurs unités commerciales, y compris deux des quatre acquisitions récentes de produits de construction : BuildingConnected et BIM 360. L’équipe de plateforme data d’analyse a déplacé toutes ses data critiques afin de les exécuter dans Snowflake.
La phase initiale a consisté à remplacer quelques pipelines. Après la migration réussie et la démonstration de la valeur de fonctionnalités telles que la gestion de la dérive des schémas et les mises à jour incrémentielles, l’équipe s’est concentrée sur ses sources de data les plus critiques.
« Nous avons migré notre pipeline Salesforce, notre produit d’ingestion le plus critique, vers Fivetran. Nous avons libéré davantage d’utilisateurs et de cas d’utilisation en cours de route, de sorte que notre utilisation s’est grandement développée au fil des ans. »
- Mark Kidwell, architecte data principal des plateformes et services data
Cela a permis d’obtenir un déplacement de data fiable et une solution d’entreposage qui permet à l’entreprise d’économiser du temps et de l’argent. « Cela fonctionne, tout simplement », explique Mark Kidwell.
Capacités professionnelles répondant aux exigences complexes et hautement sécurisées d’Autodesk en matière de data
L’équipe de plateforme data d’analyse a rapidement et en toute sécurité intégré les équipes et les utilisateurs à Fivetran afin qu’ils puissent ajouter leurs propres connexions. Fivetran fournit aux utilisateurs un accès aux pipelines et aux destinations dont ils ont besoin dans l’exercice de leurs fonctions. Des fonctions de gouvernance des data d’entreprise telles que les autorisations d’équipe et de connecteur, les rôles personnalisés et l’accès d’équipe, ainsi que l’authentification unique ont permis à l’équipe d’Autodesk d’appliquer de manière évolutive la sécurité de la plateforme à sa grande base d’utilisateurs.
« Nous avons réussi à migrer près de 60 équipes data qui ingèrent, consomment et publient parfois leurs propres produits de data sur la plateforme data d’analyse. Plus de la moitié de ces équipes travaillent dans Fivetran, en ayant des destinations et des rôles différents. Ce déplacement en libre-service signifie que nous définissons les règles de la plateforme et que les équipes peuvent accéder à leurs data sans s’adresser à nous. »
- Mark Kidwell, architecte data principal des plateformes et services data
Modernisation du data lake
Les bases du libre-service étant mises en place, Mark et son équipe s’attachent à rendre la plateforme encore plus facile à utiliser pour les clients internes et à explorer d’autres cas d’utilisation, par exemple :
- API Metadata : Autodesk a récemment choisi Atlan pour son catalogue de data et prévoit de l’intégrer à Fivetran au cours du trimestre afin de permettre la traçabilité des data.
- API REST : pour devenir une organisation capable d’élaborer des services et des produits qui s’appuient en premier lieu sur l’API, et l’API de Fivetran constitue un élément clé de ces efforts.
Téléchargez ce rapport IDC pour découvrir comment Fivetran génère des millions d’euros d’impact financier et crée de nouvelles initiatives commerciales pour les entreprises.
.svg)
.svg)
.svg)