Les entreprises innovantes doivent collecter des data provenant de différentes sources et les stocker de manière centralisée afin d’en faciliter l’analyse.

Cependant, les entreprises de toutes tailles pensent que cela est difficile car leurs data résident dans de nombreuses sources internes et externes : diverses applications client, Facebook et Google pour le marketing, Salesforce pour la gestion de la relation client, Zendesk pour l’assistance, etc.

Par le passé, l’intégration de data impliquait généralement des connexions au code personnalisé construites par des ingénieurs data en vue de connecter des API de data. Mais l'élaboration et la maintenance manuelles de connexions de code personnalisées nécessitent beaucoup de temps et d’efforts.

Tout cela s’accumule et devient à long terme fastidieux pour vos ingénieurs data, créant un point de blocage pour vos analystes de data.

Les connecteurs de data automatisés sont plus appropriés pour intégrer vos data.

Dans cet article, nous détaillons ce que sont les connecteurs de data et quelles sont leurs fonctions. Nous discuterons également des problèmes que les ingénieurs data rencontrent lors du développement manuel et de la gestion des connecteurs de data, ainsi que de la manière dont l’achat de connecteurs automatisés peut être une solution judicieuse.

Qu’est-ce qu’un data connector ?

Un connecteur de data est un processus logiciel qui collecte des data brutes de différentes sources pour les ingérer dans un pipeline de data à des fins d’intégration. Il est composé de l’identifiant de ressource uniforme (URI) des data, de la méthode d’authentification, du type de data et de tout autre composant nécessaire pour accéder à chaque source de data.

‍

‍

Les connecteurs de base de données représentent la première étape de l’intégration de data. Ils collectent des data d’applications et de databases utilisées par différentes équipes comme le marketing, les ventes et les RH, ainsi que de sites Web ou d’autres sources pertinentes pour votre entreprise.

Une fois que le data connector a rassemblé les data, d’autres mécanismes sont utilisés pour les charger vers une destination, par exemple un système de data lake, un outil d’informatique décisionnelle ou des applications de génération de rapports, où elles sont transformées pour analyse.

Par le passé, les ingénieurs et les développeurs devaient manuellement coder des scripts en vue de collecter des data de chaque source pour les intégrer. Cependant, les équipes data ont depuis abandonné cette approche en raison de son coût élevé, des efforts nécessaires et de sa lenteur.

Elles s’appuyaient également sur des plates-formes de gestion de flux de travail pour les pipelines d’ingénierie data, mais ces outils limitent le type et le nombre de sources de data auxquelles il est possible de se connecter.

Les deux méthodes peuvent toujours fonctionner pour les pipeline de data « à l’ancienne » qui utilisent le processus ETL (Extract, Transform, Load) pour l’intégration de data.

Aujourd’hui, les analystes de data et les data scientists ont besoin de data actualisées et fournies rapidement pour orienter la prise de décisions dans des marchés en constante évolution. Les data obsolètes peuvent empêcher une entreprise de répondre aux besoins des clients et de suivre les tendances du marché. Ce retard peut réduire le chiffre d’affaire et les bénéfices.

C’est pourquoi la plupart des entreprises modernes préfèrent avoir recours aux solutions ELT d’intégration de data. Ces plateformes cloud sont simples à configurer, fournissent un accès rapide aux data et réduisent de manière significative le temps passé sur le développement et la maintenance des pipelines.

Les data connectors pré-construits et automatisés, fournis par des solutions comme Fivetran, sont idéaux pour cela car ils permettent une intégration rapide, nécessitent moins ou pas de surveillance et de maintenance. Ils peuvent être personnalisés pour correspondre aux divers cas d’utilisation analytiques et commerciaux.

[CTA_MODULE]

Approches traditionnelles d’intégration de data

Traditionnellement, les ingénieurs data corrigent ensemble les scripts et les gestionnaires de tâches. Cette approche a été remplacée par des outils comme les services d’intégration de serveur SQL (SSIS) et Airflow.

Chacune de ces approches pose différents problèmes.

Les scripts corrigés ensemble demandent beaucoup de travail en termes de maintenance et de gestion des différentes tâches. Le problème s’aggrave considérablement plus l’échelle est importante, en particulier lorsque vos besoins passent de quelques sources de data à des dizaines.

Les outils comme Airflow et SSIS se connectent principalement à des sources de data spécifiques, généralement des databases. Ces outils sont utilisés conjointement avec des pipelines de data plus traditionnels basés sur l’ETL.

Problèmes rencontrés avec ces méthodes ETL

Les méthodes traditionnelles de déplacement des data d’un point A à un point B avec des applications modernes nécessitent que les ingénieurs data créent des connecteurs personnalisés pour les API. Les outils comme Salesforce et Asana disposent d’API qui ne facilitent pas vraiment l’extraction de data.

En tant qu’ingénieur data, j’ai dû créer des data connectors pour ces systèmes à de nombreuses reprises, chaque fois en écrivant un nouveau package simplement pour pouvoir gérer un autre ensemble de points de terminaison REST ou SOAP.

‍

Bien sûr, avec une ingénierie astucieuse, il est éventuellement possible de transformer un ensemble de connecteurs spécifiques à une source en une solution générale. Mais les data connectors personnalisés ne sont que le début des problèmes.

En plus de développer vos connecteurs, les ingénieurs data doivent également créer des systèmes qui gèrent les connexions, la gestion des dépendances et le contrôle des versions, mais aussi mettre en place certaines formes de CI/CD (intégration continue/développement continu).

Une fois ces pipelines initiaux créés, vous passerez beaucoup de temps à les maintenir à jour, en les modifiant lorsque des connecteurs rencontrent des problèmes et en les mettant à jour à mesure que les équipes ont besoin de construire de nouvelles colonnes et de nouveaux tableaux.

C’est pourquoi les ingénieurs data constituent souvent le point de blocage principal dans le cycle de vie des data.

Le point de blocage de l’ingénierie data

Tout le travail associé à la création de connecteurs ralentit les ingénieurs data et mène fréquemment à des points de blocage.

Les data scientists et les analystes de data de nombreuses entreprises sont d’accord : leurs ingénieurs data ne sont simplement pas en mesure de suivre le rythme de leurs demandes. Les ingénieurs data font le même constat.

Même en disposant de bibliothèques logicielles sophistiquées telles qu’Airflow et Luigi, il existe toujours de plus en plus de sources de data pour lesquelles il est nécessaire d’extraire et d’intégrer les data. Ce besoin constant de développer et de maintenir les pipelines et l’infrastructure actuels signifie que les ingénieurs data sont constamment surchargés.

C’est pourquoi la plupart des entreprises se tournent vers des connecteurs de data automatisés et l’ELT pour optimiser leurs pipelines de data.

Pourquoi l’ELT représente l’avenir de l’intégration de data

L’ETL a un problème : cette méthode est lente et étroitement liée au processus d’ingénierie data.

L’ETL exige que les ingénieurs data passent beaucoup de temps sur le développement d’une logique commerciale complexe avant de pouvoir charger les data dans un data warehouse ou un data lake d’entreprise.

En vue de continuer à réduire le point de blocage de l’ingénierie data, les plateformes de data connectors utilisent l’ELT (Extract, Load, Transform) au lieu de l’ETL.

La principale différence entre ETL et ELT réside dans l’ordre des opérations. Au lieu d’exécuter

une logique commerciale complexe avant de charger vos data dans une solution de stockage de data, vous chargez vos data dans un data warehouse ou un data lake. Les analystes et ingénieurs data peuvent ensuite appliquer la logique ultérieurement.

L’ELT permet à vos analystes d’accéder plus rapidement aux data grâce à un flux de travail plus simple et des délais de réalisation des projets plus courts.

En outre, de nombreux data connectors automatisés s’intègrent facilement aux outils de transformation de data comme dbt, permettant ainsi à votre équipe de tirer parti des bonnes pratiques en matière de développement logiciel, par exemple le contrôle des versions.

C’est pourquoi l’utilisation de data connectors automatisés sur une plateforme comme Fivetran facilite la création d’un pipeline de data ELT automatisé efficace, sans avoir à se soucier de l’évolutivité, de la flexibilité ou de la maintenance.

Avantages des data connectors automatisés

Les entreprises peuvent rationaliser leur intégration de data et leur flux de travail d’analyse à l’aide de connecteurs de data automatisés.

Ces connecteurs offrent quatre avantages principaux.

Collecte des data les plus pertinentes

Le Big Data en lui-même n’est pas utile aux entreprises. En vue de suivre une approche orientée data, les analystes et les data scientists ont besoin d’un accès rapide et en temps opportun aux data. Les méthodes traditionnelles telles que l’ETL sont lentes, et dans de nombreux cas, des data lentes sont tout aussi mauvaises que des data inexactes. Les entreprises s’efforcent de prendre des décisions basées sur les événements actuels, pas ce qui s’est passé hier ou le mois dernier.

Intégration avec des outils d’informatique décisionnelle

Les connecteurs de base de données automatisés permettent à votre équipe de les intégrer à des outils de transformation de data comme dbt. Il est possible de connecter vos data connectors automatisés à une source spécifique, d’installer les packages dbt associés et, en une seule journée, de disposer de tableaux et d’agrégations prêts pour l’analyse vous permettant de mieux comprendre les performances de votre équipe d’assistance.

Amélioration de la productivité

Les connecteurs de data automatisés se connectent facilement à différentes sources de data avec une configuration, un codage et une saisie utilisateur minimales. Cela signifie que votre équipe n’a pas besoin de développer du code ou des infrastructures pour gérer une multitude de connecteurs d’API complexes.

Les pipelines de data avec peu ou pas de code comme celui-ci font gagner du temps en termes de développement et de maintenance.

En cas de modification d’une API, votre équipe n’aura pas besoin de coder ces changements dans les connecteurs car le fournisseur s’en charge. Cela élimine le besoin de coder à répétition les mêmes connecteurs Asana ou Salesforce, une tâche que de nombreux ingénieurs data doivent actuellement effectuer.

Prise de décisions éclairées

Les data connectors automatisés de Fivetran permettent à votre équipe data de créer un tableau de bord unifié et un système de stockage centralisé pour tous vos besoins en matière de data. Lorsque les analystes peuvent accéder aux data et les agréger à partir d’applications SaaS et de databases en quelques clics, ils obtiennent de meilleures informations plus rapidement.

En outre, des ensembles complets de data qui peuvent être triés et organisés selon les besoins sont à leur disposition. Cela les aide à comprendre le contexte d’un indicateur ou un ensemble de data spécifique pour parvenir aux bonnes conclusions.

Ainsi, les décisions commerciales sont guidées par une analyse précise orientée data, plutôt que sur des informations basées sur une partie des data.

Création ou achat : quelle méthode choisir ?

Les entreprises s’appuient toujours sur de nombreuses solutions pour leurs différents services et la gestion manuelle des pipelines de data afin d’obtenir un aperçu précis de leurs opérations commerciales. Cela peut ralentir les efforts d’informatique décisionnelle, ou même complètement fausser les rapports.

Afin d’aider les entreprises à éviter cela, nous avons comparé l’achat et la création de pipelines de data en vue d’expliquer pourquoi les connecteurs pré-construits représentent une meilleure solution.

Voyons tout cela plus en détail.

Libérez vos ingénieurs data du fardeau des connecteurs de données

La création manuelle d’un data connector nécessite beaucoup de temps et d’efforts, ce qui empêche les ressources d’ingénierie de se concentrer sur le travail à forte valeur ajoutée.

Les outils d’intégration de data prêts à l’emploi comme Fivetran disposent de data connectors automatisées pour les sources de data courantes, ce qui peut grandement réduire le temps nécessaire pour passer des data brutes aux produits de data finaux comme des tableaux de bord, avec des délais d’ingénierie minimaux.

Cela libère les ingénieurs data de la pression liée au développement d’une infrastructure data complexe. Les data connectors automatisés peuvent aider vos ingénieurs data et logiciels à se concentrer davantage sur la résolution de problèmes à haute valeur, plutôt que d’écrire du code courant pour les opérations de data.

À terme, l’achat de data connectors automatisés permet à vos ingénieurs data de travailler sur des projets plus essentiels.

Économisez de l’argent

L’un des plus gros postes de dépense dans la création de pipelines de data est la constitution d’une équipe d’ingénieurs et leurs salaires pour planifier, concevoir et élaborer rigoureusement chaque élément manuellement. Les coûts s’additionnent rapidement et les entreprises dépensent en moyenne 520 000 dollars par an pour que leurs ingénieurs data créent et maintiennent les pipelines.

En revanche, l’achat de data connectors et d’autres composants de data auprès d’un fournisseur comme Fivetran signifie un investissement moindre en ressources humaines, comme les ingénieurs et les développeurs. Leurs heures de travail sont également réduites ou consacrées à d’autres tâches plus pertinentes.

Évitez les points de blocage des data

La construction de data connectors peut bien fonctionner pour un travailleur indépendant ou une petite entreprise qui travaille avec très peu de sources de data. Cependant, cette option n’est pas viable pour les grandes entreprises ou celles en expansion, qui évoluent rapidement en termes de nombre de sources et de volume de data.

Lorsque les développeurs et les équipes data sont confrontés à ces demandes croissantes pour l’ajout constant de nouveaux connecteurs, la modification de connecteurs existants ou leur reconception complète, cela crée un point de blocage.

L’achat de data connectors accélère plutôt ce processus. Vous avez besoin d’ajouter une nouvelle source ? Il vous suffit d’utiliser un data connector pré-construit pour l’intégrer instantanément à votre pipeline ou un connecteur personnalisé

qui gère le chargement et la transformation à votre place.

‍

‍

Lorsque vous achetez des data connectors automatisés, vous pouvez facilement les faire évoluer afin de répondre à tous vos besoins en matière de data. Les analystes ont ainsi accès aux data les plus récentes sans surcharger les ingénieurs.

Accédez à des capacités supplémentaires

Quand les modifications que vous devez apporter aux data connectors ne nécessitent pas des centaines de lignes de code, vos ingénieurs peuvent se concentrer sur l’optimisation de vos connecteurs afin de gagner en efficacité.

L’achat de data connectors automatisés sur une plateforme comme Fivetran vous donne accès à de nombreuses fonctionnalités supplémentaires, notamment une sécurité et une conformité robustes, des transformations pré-construites et le chargement parallèle pour bénéficier d’un traitement de data plus rapide.

Conclusion

Les data connectors automatisés utilisés dans les pipelines ELT entièrement gérés sont essentiels aux piles de data modernes qui ont pour objectif de fournir des data complètes et une analyse précise, le tout rapidement.

Ces data connectors et les plateformes sur lesquelles ils sont disponibles, comme Fivetran, résolvent la plupart des problèmes liés à la construction manuelle de pipeline de data, permettent d’économiser de l’argent, offrent un accès rapide aux data et simplifient la gestion du pipeline de data.

[CTA_MODULE]