Snowflake construit une pile de data de pointe avec Fivetran

Résultats clés :

• Déploiement de plus de 900 connecteurs Fivetran sur plus de 400 millions de MAR.
• Élaboration d’un aperçu complet du comportement des clients, qui permet à l’équipe marketing d’optimiser l’efficacité des dépenses et du ciblage marketing.
• Établissement d’une couche de consommation de data complète, qui permet à des centaines de clients internes et d’analystes d’accéder à des data critiques.

Contexte :

• Taille de l’entreprise : plus de 4 000 employés
• ELT : Fivetran, Transformations Fivetran for dbt Core™
• Destination : Snowflake Data Cloud
• Connecteurs Fivetran : Connections Service, Marketo, Jira, Salesforce, Salesforce Sandbox, Github, Servicenow, Webhooks, Greenhouse, Hubspot, Snowplow, Google Analytics, Bing Ads, Google Ads, Linkedin Ads, Workday, Youtube Analytics, Qualtrics, Google Sheets, Facebook Pages, Facebook Ads, Instagram Business, Email, Google Drive, Stripe, Survey Monkey
• Informatique décisionnelle : Tableau, ThoughtSpot
• Autres technologies de data : dbt Core™, Alation, ThoughtSpot, Airflow
• Forfait Fivetran : Enterprise
  ‍
  

Fondée en 2012, Snowflake est devenue incontournable dans l’écosystème de data stack moderne en développement, en fournissant un accès au cloud data à plus de 6 000 clients dans le monde entier. La propre croissance de Snowflake a été stimulée par une itération rapide et des pratiques de pointe en matière de data, notamment le développement d’une puissante data stack interne donnant accès aux data à chaque employé de l’entreprise.

Au cœur de cette ascension remarquable se trouve la fonction de renseignements marketing de Snowflake, une équipe dotée d’une vision audacieuse : prédire le ROI en temps réel afin d’optimiser tous les programmes marketing de Snowflake de manière dynamique, en révolutionnant les pratiques traditionnelles d’analyse marketing B2B, tout en gagnant énormément en efficacité.

« Pour la plupart des entreprises, 40 % des budgets marketing sont gaspillés dans des campagnes non efficaces. Les mesures et la visibilité sont essentielles pour optimiser le marketing. » - Lourenço Mello, responsable marketing produit - Solutions, Snowflake

L’équipe d’intelligence marketing de Snowflake a identifié une opportunité pour centraliser ses data vers l’instance Snowflake Data de l’entreprise, « Snowhouse », afin de pouvoir exécuter des modèles de segmentation et des moteurs de recommandations qui vont donner une vision à 360° client.

Éliminer les silos de data

Fivetran est un élément essentiel de la data stack moderne pour Snowflake, qui a déployé plus de 900 connecteurs Fivetran sur plus de 400 millions de MAR (Monthly Active Rows), à la fois des connecteurs d’analyse marketing comme Google, Bing et Facebook Ads, et des outils SaaS de base tels que Marketo, Salesforce et Jira.

« Fivetran facilite les opérations. En quelques clics, nous pouvons nous authentifier sur n’importe quelle plateforme et les data apparaissent presque instantanément et de manière transparente dans Snowflake. » - Carl-Johan Wehtje, Informatique décisionnelle et analyse, Snowflake

L’écosystème d’analyse de marché de Snowflake inclut désormais plus d’un millier de tableaux pour le marketing et est totalement optimisé par le cloud data.

‍

Favoriser l’analyse grâce aux modèles data Fivetran compatibles avec dbt Core™

‍

Snowflake conservait auparavant sa modélisation de data et sa logique de transformation dans un outil d’informatique décisionnelle séparé, mais cette approche présentait quelques inconvénients. Chaque fois que l’entreprise devait exécuter des modèles en dehors de l’outil ou effectuer une analyse ad hoc, les analystes devaient recréer ces modèles à partir de zéro. Cette méthode était chronophage et sujette aux erreurs.

La mise en œuvre de dbt Core™ a permis une expérience bien plus flexible pour les utilisateurs finaux au sein de l’entreprise. L’équipe a pu constater de meilleures performances globales, car la plupart des calculs intensifs étaient réalisés plus tôt dans le processus.

« Nous utilisons Google, Facebook et LinkedIn pour afficher des publicités numériques, puis nous ingérons ces data grâce à Fivetran, explique Carl-Johan Wehtje. Les modèles data Fivetran nettoient automatiquement nos sources de data brutes pour les transférer dans un modèle. Nous obtenons immédiatement un ensemble de rapports nettoyés et normalisés, qui permettent de nous concentrer sur des calculs plus complexes et les tâches d’agrégation. Cela signifie que nous pouvons exposer ces data plus rapidement à nos utilisateurs finaux, afin qu’ils puissent commencer à en tirer des informations pertinentes. »

Snowflake utilise Airflow pour gérer les tâches dbt™ et définir la fréquence de mise à jour des modèles et tableaux, ce qui donne aux analystes la possibilité de mettre en relation les délais d’actualisation des data avec les performances et les considérations budgétaires.

‍

Établir une couche de consommation de data

La « couche de consommation » représente l’endroit où l’équipe d’analyse marketing de Snowflake facilite la collaboration et invite ses partenaires commerciaux à commencer à interagir avec les data.

Avec un cadre robuste d’ingestion et de transformation mis en place, l’équipe d’analyse marketing peut se concentrer sur la génération de valeur pour l’organisation à l’aide de modèles avancés de science des data et d’apprentissage automatique, d’attribution de scores, de prévision et de segmentation. Les résultats de ces modèles prédictifs sont envoyés aux plates-formes de consommation, comme Snowsight, Tableau, ThoughtSpot et d’autres outils :

• Snowsight est utilisé pour l’analyse de data simple et rapide. Il s’agit d’un bon point de départ lorsque les utilisateurs souhaitent explorer leurs data et découvrir des tendances et modèles simples dans de grands ensembles de data. « Cet outil est idéal pour se lancer dans le développement de rapports plus avancés, car il fonctionne directement dans SQL, ajoute Carl-Johan Wehtje. Je peux essayer les choses très rapidement, générer des itérations et évoluer à partir de là. »
• Tableau est un outil populaire pour la création de tableaux de bord critiques et la génération de rapports à un rythme plus soutenu. Les analystes peuvent partager des indicateurs avec un public professionnel plus large, qui peut ne pas avoir nécessairement le même cadre de référence. « Ces tableaux de bord facilitent grandement le travail des responsables d’entreprise lorsqu’il s’agit d’identifier les performances sur une base trimestrielle ou annuelle, poursuit Carl-Johan Wehtje. Les tableaux de bord constituent un bon moyen de créer une histoire claire, ce qui est encore plus important lorsque l’on partage du contenu avec des publics plus larges, où chaque personne peut ne pas disposer du contexte complet ou de connaissances relatives aux indicateurs clés. »
• ThoughtSpot fournit un environnement complet de génération de rapports en libre-service qui permet d’obtenir des rapports plus individualisés. ThoughtSpot fournit aux analystes un moyen intuitif de détailler et d’explorer plusieurs couches de data. Carl-Johan Wehtje n’est pas inquiet quant à la création de plusieurs sources de vérité. « Étant donné que nous élaborons des modèles clairs, nous utilisons essentiellement le même modèle, qu’il s’agisse d’analyse ad hoc, de tableaux de bord Tableau ou de tableaux de bord ThoughtSpot. Chaque personne accède aux même data et obtient les mêmes résultats. »
  
  

Le dernier composant de la pile de data de Snowflake est sa solution de catalogage et de traçabilité des data. La croissance des volumes de data entraînent celle des besoins de traçabilité des data, de catalogage et de gouvernance des data claire, et le besoin de comprendre d’où viennent les data et quand elles ont été générées. « En tant qu’équipe data, nous avons besoin de transparence quant à l’emplacement d’extraction des data, explique Carl-Johan Wehtje. Même si je considère que la documentation est très importante, elle peut également être chronophage. » Snowflake a répondu à ces besoins à l’aide d’Alation, un outil qui extrait les metadata de Snowflake pour mettre en évidence automatiquement la traçabilité des data et le contenu des différents tableaux.

« Si l’on considère l’avenir, il ne s’agit là que du commencement pour nous, explique Carl-Johan Wehtje. Nous travaillons sur de nombreuses autres choses, comme la création de meilleures manières d’interagir avec les data pour nos clients internes. Nous avons hâte de partager ces méthodes avec l’entreprise très prochainement. »