Sennder pilote ses opérations de fret avec 30 000+ tableaux de bord propulsés par Fivetran

« Avec Fivetran et Snowflake, Sennder est non seulement une véritable entreprise pilotée par les données, mais nous sommes aussi parfaitement préparés à une nouvelle phase d'hyperscaling. »
— Christian Haas-Frangi, Staff Software Engineering Manager, Sennder

Aujourd'hui, plus de 6,2 millions de camions circulent dans l'Union européenne, et le marché de la logistique dépend encore largement du papier, du téléphone et du fax. Sennder, premier transitaire d'Europe, s'est donné pour mission de révolutionner le secteur en exploitant les données et la technologie. 

Avec sennder, les expéditeurs bénéficient d'un accès simple et efficace à une flotte autrement dispersée de 40 000 camions pour proposer leur fret via l'échange de données informatisé (EDI), une API ou des services de courtage automatisés développés en interne. Les transporteurs recherchent et réservent des chargements grâce à la technologie de sennder, tandis que les chauffeurs utilisent une application pour garantir une pleine capacité et arriver à destination à l'heure. Ces offres reposent sur des applications pilotées par les données, des modèles de machine learning et des tableaux de bord BI.

Construire une architecture de données moderne avec Fivetran et Snowflake 

Depuis la création de l'entreprise en 2016, sennder disposait d'une équipe centrale de données bien établie, composée de deux à trois analystes de données pour gérer l'ensemble des projets d'analyse. En 2019, deux ingénieurs de données ont été recrutés pour construire un entrepôt de données avec Snowflake, et l'équipe a également adopté Fivetran afin d'automatiser l'ingestion des données provenant de son système ERP et de milliers de Google Sheets. 

Peu après, l'adoption de Fivetran par sennder s'est étendue à d'autres cas d'usage, notamment l'amélioration de l'efficacité de la génération des factures. Générer une facture était un processus très manuel, car les données étaient gérées par un outil de backend qui obligeait ses ingénieurs à construire manuellement un pipeline de données. Cependant, grâce aux connecteurs prêts à l'emploi de Fivetran, sennder a pu ingérer et centraliser facilement les données de l'outil de backend dans Snowflake en quelques jours. L'équipe d'ingénierie des données de Sennder a également tiré parti de Fivetran pour se recentrer sur des projets à plus forte valeur ajoutée. Chez sennder, les rapports ponctuels sont en libre-service et générés par les utilisateurs directement dans Looker ou, si un besoin plus complexe se présente, par les analystes de données. 

« Fivetran a libéré notre petite équipe d'ingénieurs de données de la construction et de la maintenance des pipelines de données, ce qui leur a permis de se concentrer sur des tâches à plus forte valeur ajoutée, comme le développement de produits complexes et pilotés par les données, tels que des plateformes d'analyse destinées aux clients ou des systèmes de recommandation. »
— Christian Haas-Frangi, Staff Software Engineering Manager chez Sennder

Alors que l'entreprise connaissait une hypercroissance, passant de 50 à 500 collaborateurs en moins d'un an, le volume de données collectées a augmenté à un rythme phénoménal. La logique métier est devenue plus complexe et le besoin de reporting s'est accru. Il était impossible pour une seule équipe de gérer tous les projets d'ingénierie des données. 

Sennder a relevé ce défi en divisant l'équipe centrale de données : une équipe chargée de la plateforme de données, qui gère les aspects fondamentaux de l'architecture de données, et une équipe d'analyse responsable de chaque département métier (par exemple les expéditeurs, les transporteurs, la finance et le marketing). 

Passer à un data mesh

Lorsque 30 analystes de données contribuent à un même grand référentiel contenant environ 2 000 modèles de données, il existe toujours un risque qu'une nouvelle création interrompe les opérations. C'est pourquoi sennder est passé à une approche de type data mesh. Le data lake de sennder contient des données brutes, mises à jour aussi fréquemment que possible. Les ingénieurs de données et les analystes de données configurent la synchronisation dans Fivetran en quelques minutes.

Les données nettoyées sont stockées dans une trentaine de référentiels, appelés data marts, qui font partie du Snowflake Data Cloud. Tous les data marts sont connectés et détenus par l'équipe d'analyse du domaine métier où les données ont été générées. Un data mart contient les modèles de données correspondants, ainsi qu'un espace de calcul, de sorte que chaque équipe d'analyse peut exécuter ses transformations et sa modélisation sans affecter les autres équipes.

Toute l'ingestion, les transformations et la modélisation des données s'exécutent automatiquement. Grâce au module Terraform récemment lancé dans Fivetran, ils oublieront bientôt qu'il fallait définir manuellement les data marts comme destination dans leur code. 

L'accès démocratisé aux données stimule l'innovation

Aujourd'hui, chez sennder, tout le monde a accès aux données nécessaires à son travail quotidien. L'équipe de Christian a permis la création de milliers de tableaux de bord BI en libre-service au service de la direction et de tous les métiers de l'entreprise. Les ingénieurs et les data scientists disposent également d'un accès à des données fraîches, fiables et sécurisées pour entraîner des modèles de machine learning afin de prédire les coûts pour les expéditeurs ou de personnaliser les offres pour les transporteurs. 

Par ailleurs, l'accès démocratisé aux données alimente l'initiative Ship Green de sennder, qui vise à réduire les émissions de CO2 en offrant aux expéditeurs un outil permettant de déterminer leurs émissions de CO2 et de définir des mesures pour les réduire.

[CTA_MODULE]