Avez-vous des data dans Salesforce que vous voulez utiliser et analyser dans BigQuery ? Le chargement de vos data de Salesforce à BigQuery est une excellente manière pour centraliser, conserver et analyser les informations utiles au sein de votre organisation. Il peut être compliqué de savoir exactement comment faire. Nous sommes donc là pour vous guider tout au long du processus pour déplacer facilement vos informations d’une plateforme à une autre. Dans cet article, nous vous proposons des instructions détaillées pour configurer un pipeline automatisé afin de transférer des data de Salesforce vers la solution cloud gérée de Google : BigQuery. C’est parti !

[CTA_MODULE]

Qu’est-ce que Salesforce?

Salesforce est une plateforme de gestion de la relation client (CRM) dynamique qui aide les entreprises à simplifier les interactions avec les clients et à créer des relations en temps réel. Salesforce permet de conserver les data client en toute sécurité et de les utiliser pour créer de puissants outils d’automatisation des ventes, qui rationalisent la gestion des informations client. Grâce à Salesforce, les entreprises peuvent également personnaliser leurs campagnes pour cibler des segments de clients spécifiques et atteindre des résultats au-delà de leurs attentes.

Qu’est-ce que Google BigQuery?

Google BigQuery est un datawarehouse cloud entièrement géré, fourni par Google comme une offre SAAS. BigQuery peut non seulement ingérer et stocker d’immenses quantités de data, mais aussi traiter rapidement des requêtes de plusieurs pétaoctets afin de vous fournir des informations utiles en quelques secondes. Google BigQuery utilise une architecture à colonnes pour stocker toutes formes de data. Vos data doivent donc être converties au format en colonnes si elles n’y sont pas déjà. Le stockage en colonnes permet une meilleure utilisation du stockage et une exploration et des requêtes plus rapides par rapport au stockage en lignes.

BigQuery convient bien au traitement analytique en ligne OLAP (Online Analytical Processing), et facilite la gestion avec des outils intégrés d’IA (intelligence artificielle) et d’AM (apprentissage machine). L’infrastructure BigQuery utilise massivement des calculs parallèles et un moteur de stockage sécurisé particulièrement évolutif, ce qui en fait l’un des datawarehouses les plus utilisés au monde.

Méthodes de chargement de data de Salesforce vers BigQuery

Alors que Salesforce vous aide à générer des séries de data sur les prospects, les ventes et bien d’autres choses, il peut être compliqué de conserver un emplacement bien organisé. Une solution consiste à recueillir les data dans un datawarehouse central, tel que BigQuery. Ce recueil de toutes vos data vous permet de les utiliser stratégiquement afin de maximiser les profits en prévoyant des tendances de ventes et en affectant au mieux les dépenses, notamment de marketing. Deux méthodes permettent de transférer vos data Salesforce dans BigQuery, l’une manuelle, l’autre automatisée. L’approche manuelle permet d’écrire des scripts pour les opérations d’ETL (extraire, transformer, charger) qui traitent cette tâche et de sécuriser l’intégration entre les applications. Une alternative automatisée, telle que Fivetran, permet de réduire les clics et d’accélérer les transferts. Nous allons maintenant décrire ces méthodes de manière plus précise.

Méthode 1 : de Salesforce à BigQuery avec l’outil Fivetran

Fivetran est une plateforme d’automatisation du mouvement de data, permettant de déplacer des data depuis et vers diverses sources de data. Il est possible de transférer les data recueillies depuis vos diverses sources, telles que des capteurs, journaux d’appels, CRM, ERP, sites Web, etc. vers un data lake ou un datawarehouse, en vue de leur traitement et de leur analyse pour en tirer un avantage compétitif et des profits durables. Fivetran est un outil d’ETL sur le cloud qui peut traiter et transformer vos data en vue de leur exploitation directe par vos applications d’analyse.

Imaginez le scénario suivant : Salesforce héberge les data de vos ventes/clients/campagnes, tandis que d’autres logiciels/applications hébergent les data de vos stocks/comptabilité/production/site Web. Pour intégrer toutes ces sources de data et réaliser des analyses sur l’ensemble de vos data, vous auriez besoin d’une plateforme telle que BigQuery afin de créer un datawarehouse qui hébergera vos data sous divers formats et de réaliser des analyses en quelques clics. Fivetran peut facilement se connecter à vos nombreuses sources de data, telles que Salesforce/databases, et transmettre automatiquement les data vers votre destination BigQuery.

Fivetran fournit un connecteur intégré permettant d’extraire facilement toutes vos données sous-jacentes de Salesforce vers un environnement compatible avec l’entreposage/SQL tel que BigQuery, afin de réaliser des analyses avancées sur vos data de CRM. Vous trouverez le connecteur Fivetrans Salesforce-BigQuery ici :

‍https://console.cloud.google.com/marketplace/product/fivetran-bq-dts/salesforce

Ce connecteur réplique vos data Salesforce dans BigQuery, les actualise et les synchronise en continu, et les analyse pour fournir des informations utiles, sans le moindre effort de votre part. Une fois vos data dans BigQuery, vous pouvez utiliser BigQuery ML pour créer et exploiter des modèles d’apprentissage machine, ou utiliser Data Studio pour créer une visualisation claire, ou bien encore utiliser BigQuery pour réaliser des analyses géospatiales, etc. Il est facile d’associer vos data SF à des data d’autres sources afin de créer des rapports plus globaux et poussés. Vos ressources d’ingénierie peuvent se concentrer sur leurs tâches les plus spécifiques, plutôt que de se soucier de la réparation et de l’entretien des pipelines de data.

Étapes de connexion de Salesforce avec Fivetran

Étape 1. Ouvrez l’IU du connecteur Salesforce-BigQuery de Fivetran

Sélectionnez Salesforce comme source et BigQuery comme destination de vos data. Cliquez sur le bouton Configurer

Étape 2. Spécifiez ensuite le nom du schéma souhaité et autorisez votre connexion Salesforce (Fivetran utilisera vos identifiants pour accéder à vos data SF).

Après l’authentification, cliquez sur « Enregistrer et tester ». Fivetran essaiera alors de se connecter à votre Salesforce et vérifiera si les API associées fonctionnent.

‍

Étape 3. Vous devrez ensuite autoriser Fivetran à accéder à votre cluster BigQuery et à créer, actualiser et gérer des tableaux pour vos data.

Spécifiez votre ID de projet BigQuery (dataset de destination), ses détails d’accès/URL etc.

‍

‍

Dans BigQuery, accordez des autorisations à votre compte Fivetran pour accéder aux tableaux BigQuery et les gérer.

‍

‍

Ajoutez ensuite un nouveau Principal, avec votre compte de service Fivetran  

Sélectionnez alors un rôle pour votre compte Fivetran spécifié ci-dessus. J’ai utilisé le rôle « utilisateur BigData ».

Étape 4. L’étape suivante consiste à accéder à votre tableau de bord Fivetran, aux destinations et à spécifier la destination BigQuery

‍

Cliquez sur + Ajouter une destination, spécifiez un nom puis sélectionnez le type de destination BigQuery. Dans le formulaire de définition de la destination, entrez l’ID de projet que vous avez trouvé à l’étape 3 ci-dessus.

Entrez l’emplacement des data et l’emplacement de traitement des data. Selon votre localisation, BigQuery fournira ces emplacements depuis l’endroit où ses services seront mis à votre disposition. Enfin, spécifiez votre fuseau horaire et cliquez sur Enregistrer et tester.

Étape 5. Fivetran réalise ensuite les tests suivants :-

Test de connexion : pour contrôler votre connexion à votre datawarehouse BigQuery, et s’il peut extraire la liste des datasets.

‍Test de contrôle des autorisations : pour vérifier si nous avons les autorisations requises sur votre datawarehouse.

‍Test de configuration du compartiment : pour vérifier que vous avez l’autorisation d’administration des objets de stockage sur votre compartiment de data si vous utilisez votre propre compartiment pour le traitement des data.  

Étape 6. Enfin, une fois ces tests réussis, vous devez sélectionner des objets à synchroniser et à hacher

Sélectionnez ici les objets Salesforce que vous voulez envoyer vers BigQuery. Félicitations ! Votre warehouse BigQuery est connecté à Fivetran et prêt à être utilisé.

7. Accédez enfin au tableau de bord de connexion Salesforce

‍

Vérifiez que tout semble correct et cliquez sur « Lancer la synchronisation initiale ».

Cela permettra de charger votre premier dataset (initial), puis de gérer les mises à jour suivantes. Nous avons donc configuré rapidement l’intégration, en quelques clics. Fivetran fait le plus gros du travail et vous libère de la complexité du transfert de data, de la synchronisation des data, du prétraitement des data et de la maintenance des pipelines. Nous allons maintenant aborder certaines fonctionnalités puissantes et polyvalentes de Fivetran.

[CTA_MODULE]

De Salesforce à BigQuery : les avantages liés à l’utilisation de Fivetran

Le connecteur SF de Fivetran utilise le moins possible d’appels d’API, ce qui le rend rapide et efficace en termes de ressources. Le connecteur utilise un mix intelligent de Bulk SF API et de REST API pour la synchronisation de vos data, afin de renforcer le rendement.

Comme votre compte SF a un quota Bulk API limité sur 24 heures glissantes, si le connecteur constate que 90 % du quota Bulk API est consommé, il change pour utiliser le quota REST API. Si la consommation de quota SF REST API atteint également 90 %, les synchronisations sont automatiquement repoussées d’une heure pour garantir qu’il y ait toujours des quotas SF API disponibles pour vos autres applications critiques.

Vous n’avez donc pas à vous soucier d’un étouffement de vos autres processus à cause de l’épuisement du quota quotidien de l’API. Le connecteur SF Fivetran comporte bien d’autres fonctionnalités très utiles, dont certaines sont répertoriées ci-dessous.  

Fivetran réalise le mappage un à un de vos objets Salesforce avec vos objets de destination. À l’exception des champs calculés/dérivés dans SF, Fivetran mappe vos objets Salesforce de sorte que la sémantique dans les data soit maintenue et que l’utilisation de ces data soit facilitée. Vous trouverez ci-dessous une description simplifiée du processus basée sur l’ERD.

Remarque : par souci de concision, toutes les relations ne sont pas modélisées ici, mais vous pouvez facilement comprendre comment Fivetran associe intelligemment les objets entre eux.  

‍

@Source : https://docs.google.com/presentation/d/1sMmOXdKDkxJtRZa_ybyXtyrq22wE6phNo9EZ52RfV5Y/edit#slide=id.g3cb9b617d1_0_237

‍

• Fivetran traite seul les champs de vos formules calculées.

Les champs de formules dans Salesforce (SF), qui sont calculés/dérivés en fonction des valeurs actuelles dans d’autres champs SF, ne se prêtent pas très bien à une synchronisation incrémentielle/linéaire avec les autres champs. Fivetran détecte automatiquement ces champs de formules, qui restent exclus des tableaux synchronisés vers votre destination.

Fivetran traduit les formules SF en formules SQL équivalentes grâce à sa fonction de traduction de formules intégrée, et applique des transformations en aval à ces champs afin qu’ils restent synchronisés avec les autres data.

Cela garantit que ces champs soient répliqués correctement dans votre destination, BigQuery dans ce cas.  

• Fivetran synchronise facilement vos data Salesforce mises à jour

Lorsque vous utilisez Salesforce, vos data dans SF changent et doivent être mises à jour/synchronisées avec les data nouvelles et modifiées. Fivetran réalise pour vous la synchronisation incrémentielle, et actualise uniquement les data nouvelles ou modifiées afin que le processus de mise à jour reste simple et efficace. Fivetran utilise un ensemble interne de curseurs de progression permettant de savoir exactement où s’est arrêtée notre dernière synchronisation réussie.

SF comporte certains horodatages, par exemple

SystemModStamp/LastModifiedDate/CreatedDate/LoginTime etc., que Fivetran utilise intelligemment pour détecter quelles lignes ont changé depuis la dernière synchronisation, puis réalise des synchronisations incrémentielles. Mais si vous voulez contourner ce comportement, il vous suffit de définir la propriété « actualisable »/« réplicable » de votre ou de vos tableaux SF sur FAUX. Dans le cas ci-dessus, Fivetran importe à nouveau automatiquement les tableaux entiers définis sur FAUX

‍

• Fivetran peut facilement synchroniser votre AWS PrivateLink et votre Salesforce Private Connect. Si vous avez une licence Salesforce Private Connect pour utiliser AWS PrivateLink, Fivetran peut déplacer vos data de Salesforce vers une destination AWS.

• Fivetran apporte de la transparence et permet des audits très détaillés

Fivetran indique clairement les opérations réalisées sur vos data, quand les mises à jour de synchronisation ont été ou seraient réalisées, les lignes traitées/supprimées, quand chaque tableau a été mis à jour pour la dernière fois, tout problème rencontré, etc.

Pour permettre ce niveau d’audit et de transparence, Fivetran ajoute des colonnes à chaque tableau ajouté à votre destination afin de vous fournir des informations sur la progression/les modifications de votre intégration. Par exemple, pour les tableaux qui n’ont pas une clé principale pour chaque ligne, Fivetran ajoute fivetran_index (INTEGER) et fivetran_id (TEXT), respectivement pour indiquer l’ordre des mises à jour et pour éviter des doublons.

Le tableau fivetran_audit indique quand chacun de vos tableaux a été mis à jour, et tout problème rencontré. S’il y a plusieurs avertissements sur un même tableau, Fivetran crée un avertissement fivetran_audit_warning et vous permet de tous les consulter comme stacktrace/chaîne d’événements afin de faciliter la détection et la résolution des problèmes.  Vous pouvez également activer « history_mode » pour quelques-uns ou pour l’ensemble de vos tableaux, et Fivetran ajoutera d’autres colonnes à ces tableaux, comme fivetran_start/fivetran_end/fivetran_active pour compléter le suivi.

Les tableaux du système dans Fivetran, comme FIVETRAN_QUERY/FIVETRAN_FORMULA_MODEL/FIVETRAN_FORMULA_HISTORY/FIVETRAN_API_CALL, apportent encore plus de transparence sur les opérations réalisées par Fivetran sur vos data. Les fonctionnalités de transparence et d’audit ci-dessus permettent de mieux utiliser Fivetran et d’ajuster vos data SF pour qu’elles fonctionnent bien avec Fivetran.

• Multiples connecteurs disponibles dans Fivetran.

Fivetran fournit plus de 300 connecteurs pour de nombreuses offres différentes de databases/analyse marketing/analyse des ventes/analyse des produits/analyse Finance & Ops/analyse ingénierie/SAAS, etc. Ainsi, Fivetran a certainement un connecteur intégré pour vous, quelle que soit votre pile de data. Si vous avez des data conservées dans de nombreux silos/solutions d’hébergement de data différents, Fivetran pourrait être votre solution unique pour tous les intégrer de manière transparente.

[CTA_MODULE]

Méthode 2 : de Salesforce à BigQuery (intégration manuelle)

Vous pouvez exporter toutes vos data Salesforce comme fichiers CSV/Avro, puis importer ces fichiers dans BigQuery pour configurer Google BigQuery Salesforce Integration.

Étape 1 : dans votre explorateur de data Salesforce, choisissez le ou les tableaux à exporter.

Étape 2 : sélectionnez Exporter vers le stockage cloud, et choisissez le format d’exportation CSV.

Choisissez par ailleurs le type de compression GZIP (GNU Zip), ou acceptez la valeur par défaut.  

Téléchargez ce fichier.

Étape 3 : dans votre BigQuery, accédez à l’explorateur de data, et sélectionnez « Importer » puis « Ingestion par lots ».  

Sélectionnez le file type CSV/Avro, et n’oubliez pas que l’ingestion de fichiers Avro peut charger des data dans BigQuery beaucoup plus vite que des fichiers CSV. Dans l’IU, vous pouvez activer la détection automatique des schémas ou la spécifier explicitement. Après avoir spécifié des détails tels que le dataset et le nom du tableau, cliquez sur « Importer ». Bien que cette méthode soit simple, elle peut devenir fastidieuse si vous avez trop de tableaux ou de fichiers à importer. Par ailleurs, si vous avez plusieurs sources de data avec des data qui évoluent constamment, cette méthode est pratiquement impossible à mettre en œuvre.

Méthode 3 : de Salesforce à BigQuery en écrivant un code personnalisé

Salesforce et BigQuery proposent des API puissantes et polyvalentes pour l’importation et l’exportation des data. Vous pouvez écrire votre propre code, dans votre langage favori, tel que Java ou Python, et obtenir la fonctionnalité décrite ci-dessus. Cette méthode offre un maximum de souplesse et de puissance, car vous disposez d’un contrôle précis sur chaque opération de transfert de data. Mais cette méthode nécessite des ressources de programmation et beaucoup de temps pour commencer à fonctionner.  Par ailleurs, lorsque vos sources et sorties de data évoluent ou changent, vous devez également maintenir et actualiser vos programmes.

De Salesforce à BigQuery : les inconvénients liés à l’écriture de code personnalisé

• Vous avez besoin de nombreuses ressources de programmation qui comprennent le fonctionnement de Salesforce et de BigQuery.
• Toutes les subtilités des deux plateformes devront être abordées.
• Vous aurez également besoin d’une équipe de test et de vérification pour contrôler que toutes les data souhaitées ont atteint BigQuery et y sont présentes dans un format parfaitement adapté aux processus d’analyse.
• Votre code personnalisé devra être mis à jour fréquemment en cas de modification de vos processus métier OU des plates-formes sous-jacentes.
• Vous devrez créer plusieurs programmes pour transférer vos data provenant de diverses sources vers BigQuery. (Alors que Fivetran dispose déjà de connecteurs pour les sources de data les plus courantes).
• En quelques mois seulement, votre budget consacré à la programmation et aux tests dépasserait largement votre investissement dans Fivetran.

Conclusion

Bien qu’il existe plusieurs méthodes pour transférer des data de Salesforce vers BigQuery, vous devriez vous concentrer sur la mise en œuvre de la bonne analyse pour obtenir des informations utiles sur vos data et vos processus. Vos ressources d’ingénierie devraient se concentrer sur le cœur du travail d’analyse des data et de création de représentations claires, pas sur la création de flux d’entrée/sortie de data.

Il est préférable de ne pas consacrer trop de ressources et d’efforts à la réparation et à l’entretien des pipelines de data, qu’il est préférable de déléguer à des outils modernes créés spécifiquement pour cela. Fivetran a été testé intensivement par des développeurs expérimentés, et évolue constamment pour progresser et traiter les défis actuels et futurs.