YipitData transforme la surcharge de données des marchés financiers en informations exploitables

YipitData est la source de confiance en matière d’informations issues de données alternatives. Les équipes produit de l’entreprise analysent chaque jour des milliards de points de données pour fournir les informations granulaires qui guident les décisions de centaines de fonds d’investissement et d’entreprises hautement innovantes. Lorsque YipitData a commencé à croître rapidement, l’entreprise a peiné à faire évoluer ses activités analytiques, qui reposaient sur des dizaines de clusters Amazon Redshift. C’est alors que YipitData a migré vers la Databricks Lakehouse Platform afin de créer une plateforme de données en libre-service pour ses analystes produit. Cette approche a si bien fonctionné que l’entreprise a commencé à intégrer à Databricks des équipes opérationnelles telles que les Revenue Operations et la Finance. Pour ce profil, YipitData utilise Fivetran pour ingérer des données issues de 20 plateformes SaaS dans Databricks, afin que les équipes opérationnelles puissent accéder aux données brutes sans faire appel aux ingénieurs. À mesure que YipitData continue de croître, l’entreprise deviendra une organisation centrée sur les données en permettant à chacun d’utiliser Databricks et Fivetran pour répondre à ses questions à l’aide des données.

La maintenance des clusters de données ralentit l’analytique

Les décideurs soumis à la pression s’appuient sur les produits de YipitData pour les aider à faire les bons choix. C’est pourquoi l’entreprise doit toujours garder une longueur d’avance sur son marché. YipitData cherche à savoir de quelles informations ses clients ont besoin avant même qu’ils n’en aient besoin, ce qui n’est possible qu’en analysant la façon dont ils ont interagi avec les produits de données par le passé. 

« Notre cœur de métier consiste à vendre des produits de données à très forte valeur à des fonds d’investissement et à des entreprises pour les aider à prendre de meilleures décisions », déclare Bobby Muldoon, Co-Head of Data Engineering chez YipitData. « Nous entretenons des relations étroites avec nos clients et nous cherchons à comprendre leurs questions clés, les défis auxquels ils sont confrontés et les types de produits qui comptent le plus pour eux. Une grande partie de ces informations est enregistrée dans notre solution Salesforce ; nous devons donc les transférer vers une plateforme analytique pour permettre à notre équipe Revenue Operations de les analyser et d’en établir des rapports. »  

Avant d’adopter Databricks, les activités analytiques de YipitData s’articulaient autour de dizaines de clusters Amazon Redshift. Chaque équipe de l’entreprise gérait ses propres clusters, écrivait du code dans Airflow et utilisait un framework maison pour gérer les requêtes SQL. À mesure que l’entreprise se développait, cette organisation est devenue lourde — en particulier lorsque YipitData devait partager des jeux de données communs entre les équipes. 

« Il était vraiment difficile de faire évoluer notre activité avec des clusters Redshift isolés au sein de chaque équipe produit », se souvient Muldoon. « Lorsque nous avons commencé à ingérer des données d’e-mails et de cartes de crédit provenant de partenaires, nous avons soudain eu besoin de partager ces données entre toutes les équipes, ce qui impliquait de les copier dans une cinquantaine de clusters Redshift. C’est là que nous avons compris qu’il nous fallait un véritable data lake. »

Connecter les parties prenantes aux données brutes conduit à de meilleures décisions

YipitData a évalué plusieurs solutions avant de choisir la Databricks Lakehouse Platform comme fondation de sa nouvelle stack de données. « Nous savions que nous ne voulions pas d’un data warehouse, car il aurait fallu une équipe d’ingénieurs de données aguerris pour le maintenir », déclare Muldoon. « Nous avons adhéré à l’idée d’un lakehouse parce que nous devions mettre les données brutes entre les mains de nos utilisateurs métier avec le moins de friction et d’intervention d’ingénierie possible. »

YipitData a décidé de compléter sa solution Databricks avec Fivetran, un outil que l’entreprise avait déjà utilisé pour déplacer de grands volumes de données Salesforce brutes vers Redshift à des fins d’analyse et de reporting par son équipe Revenue Operations. Peu après le passage de YipitData à Databricks, l’entreprise est passée de moins de 100 à plus de 500 employés. À mesure que YipitData ajoute de nouvelles solutions SaaS à son parc technologique, l’entreprise utilise les connecteurs Fivetran pour simplifier l’ingestion des données. La liste des solutions intégrées comprend Salesforce, Marketo, NetSuite et Greenhouse. 

« Nous ingérons plus de 20 plateformes SaaS avec Fivetran, ainsi que de nombreuses bases de données d’applications internes », déclare Muldoon. « Cela facilite grandement la vie de nos équipes opérationnelles chargées du reporting interne. Chaque fois que nous devons ingérer un jeu de données cohérent qui ne nécessite pas d’ETL personnalisé, Fivetran est notre solution. »

Chaque équipe opérationnelle de YipitData doit produire des analyses et des rapports. L’entreprise utilise non seulement les connecteurs Fivetran pour alimenter Databricks avec les données des équipes, mais donne également aux parties prenantes accès aux données brutes dans Databricks afin qu’elles puissent réaliser leurs propres analyses. 

« Nous estimons que nos décisions métier doivent être prises entièrement par les utilisateurs métier », explique Muldoon. « Nous mettons donc les données brutes entre leurs mains sans qu’aucune intervention des ingénieurs ne soit nécessaire. Notre équipe Finance écrit des requêtes SQL et du PySpark dans Databricks pour analyser ses données. Fivetran facilite l’obtention de ces données, et Databricks en simplifie l’analyse. » 

En intégrant NetSuite à Databricks, YipitData a aidé son équipe Finance à surmonter les limites du reporting. La Finance obtient désormais de meilleures informations avec moins d’efforts manuels. 

« Avant Databricks, lorsque mes rapports dépassaient une certaine longueur, je devais les télécharger par morceaux et manipuler les données pour obtenir le rapport dont j’avais besoin », se souvient Emily Frey, Senior Director of Finance chez YipitData. « Aujourd’hui, j’utilise des commandes SQL de base pour créer mes propres tables à partir des données qui arrivent dans Databricks via Fivetran. C’est configuré comme une tâche récurrente qui me fait gagner six à huit heures par mois. Nous avons également automatisé le reporting de notre modèle de trésorerie avec Databricks, ce qui nous a donné accès à davantage d’indicateurs et nous fait économiser quatre à cinq heures de travail par semaine. » 

[CTA_MODULE]

Les données en libre-service aident les parties prenantes à répondre aux besoins des clients

Dans l’ensemble de YipitData, les données en libre-service sont désormais une réalité. Les équipes produit et opérationnelles peuvent répondre elles-mêmes à leurs questions sur leurs données. Si elles doivent créer un produit de données ou un workflow de reporting, elles peuvent contrôler l’intégralité du processus ELT. 

« Même nos utilisateurs peu techniques sont formés à dériver des tables dans Databricks pour éviter de réexécuter constamment les mêmes requêtes, et ils utilisent des tâches multiples pour orchestrer des workflows complexes », déclare Muldoon. « Cela a été une expérience responsabilisante pour ces équipes, qui y ont très bien réussi. »

Grâce à Databricks, le département Finance de YipitData travaille bien plus efficacement tout en traitant des dizaines de milliers de lignes de données dans des feuilles de calcul. Plutôt que de subir de fréquents plantages de tableurs et de s’interroger sur l’intégrité des données, l’équipe utilise désormais des requêtes pour produire des rapports en quelques minutes. 

« Remplir Google Sheets avec d’énormes jeux de données était autrefois un processus lent et peu fiable », déclare Frey. « Aujourd’hui, je peux lancer une tâche dans Databricks et elle actualise automatiquement ma feuille Google Sheet en environ trois minutes, sans aucun plantage. Cela me fait gagner environ trois heures à chaque clôture mensuelle. »

Le parcours de YipitData avec Databricks et Fivetran a consisté à explorer de nouvelles opportunités plutôt qu’à simplement réduire les coûts. « Je ne peux pas dire que nous économisons de l’argent en intégrant nos plateformes SaaS à Databricks, car s’il nous avait fallu une équipe de 10 ingénieurs pour le faire, nous ne nous en serions pas donné la peine », déclare Muldoon. « Nous n’aurions jamais obtenu l’approbation du budget. »  

Les équipes métier de YipitData peuvent désormais collaborer et itérer à mesure qu’elles créent de nouveaux types de rapports. Ayant éliminé leurs plus grands obstacles techniques grâce à Databricks et Fivetran, les équipes peuvent appliquer leur connaissance métier aux défis de données les plus complexes et dégager les informations dont les clients ont besoin. « Nous savons que nos utilisateurs métier ne construiront pas les meilleurs pipelines de données au monde, mais ce n’est pas essentiel pour leur cas d’usage », explique Muldoon. « Ce qui compte, c’est qu’ils puissent assumer l’entière responsabilité de la qualité de leur reporting. Ce sont eux qui sauront si des valeurs brutes ne correspondent pas aux attentes, et quoi faire dans chaque situation. Cela fait appel à un jugement métier essentiel qui ne devrait pas être délégué à un ingénieur sans expertise du domaine. Avec Databricks, ils peuvent accéder à la forme la plus brute des données et itérer rapidement sur leurs besoins d’analyse et de reporting. »

À mesure que YipitData se développe, l’entreprise continuera de donner à ses utilisateurs métier accès à des volumes toujours croissants de données brutes. Muldoon y voit une clé du succès de YipitData. « Je ne pense pas que nous aurions pu bâtir cette entreprise sans Databricks », conclut-il. « Nous n’aurions pas pu offrir ce niveau de libre-service sur Snowflake, Amazon Web Services ou Amazon EMR. Avec Databricks et Fivetran, nous avons libéré de la valeur métier pour presque toutes les équipes de l’entreprise. »