Les modèles d’intelligence artificielle reposent sur des fondations solides de data. L’accès aux gros volumes de data nécessaires pour entraîner l’IA, alimenter le modèle et veiller à ce qu’il reste à jour constitue la partie la plus difficile de l’élaboration d’un modèle d’IA viable.

Fivetran permet d’intégrer des data d’une source vers un référentiel de data avec un flux de travail simple qui consiste à naviguer dans une série de menus. Pour commencer à utiliser Fivetran, il suffit de suivre quelques étapes :

1. Inscrivez-vous à Fivetran
2. Configurez votre premier connecteur à l’aide d’identifiants d’une source de data, en choisissant parmi plus de 500 plateformes SaaS, de databases, de flux d’événements et de stockage de fichiers
3. Configurez et attribuez une destination : un data lake ou un data warehouse
4. Définissez un calendrier et procédez à la synchronisation initiale

Ce flux de travail rend rapidement les data disponibles dans un data lake ou un data warehouse, dans lesquels les schémas provenant de sources disparates peuvent être combinés, analysés et modélisés si nécessaire pour tous les objectifs en aval, y compris l’IA générative.

La construction d’un modèle d’IA générative à partir de zéro peut coûter plusieurs millions de dollars en infrastructure et en expertise, mais aussi prendre des mois de traitement. Pour la plupart des organisations, la génération augmentée de récupération (RAG) constitue une option plus pratique. La génération augmentée de récupération consiste à compléter un modèle d’IA génératif existant (appelé modèle de fondation) avec des data qui fournissent des faits et un contexte supplémentaires, produisant ainsi des résultats plus concrets et plus pertinents pour les besoins d’une organisation. Parmi les modèles de fondation les plus connus, nous pouvons citer DALL-E et la série GPT d’OpenAI, Midjourney de Midjourney, LLama de Meta et Claude d’Anthropic.

Il existe de nombreux modèles de fondation spécialisés dans différents médias ou cas d’utilisation. Parmi les modèles de fondation, les grands modèles de langage (LLM), qui sont entraînés avec des corpus massifs de textes, sont particulièrement prometteurs pour une utilisation générale, car ils peuvent imiter le langage et la compréhension des humains. En combinant la génération augmentée de récupération et un grand modèle de langage, les organisations peuvent tirer profit de toute la puissance de l’IA générative prête à l’emploi pour leurs data propriétaires, en vue de gagner du temps et de l’argent.

L’IA générative dépend de data non structurées sous forme de toutes sortes de médias, tels que le texte, les images, l’audio, la vidéo, etc. Actuellement, Fivetran ne prend pas directement en charge l’intégration de fichiers multimédias bruts. Cependant, un certain nombre de sources de data Fivetran comprennent de grandes quantités de texte dans des data structurées. Il s’agit notamment des sources suivantes :

• Ada
• Drift
• Github
• Intercom
• Slack
• Salesforce
• Zendesk

Normalement difficiles d’accès derrière des API et des schémas complexes, ces sources sont facilement proposées par Fivetran dans une architecture RAG pour l’IA générative.

Architecture RAG pour l’IA générative

L’architecture suivante montre comment les data sont fournies pour la génération augmentée de récupération. Sur Fivetran, une équipe commence par extraire et charger des data à partir de sources vers un référentiel de data central.

Ce référentiel intermédiaire présente plusieurs avantages :

• Toutes vos data sont rassemblées au même endroit, ce qui vous permet de les gouverner, de les observer et de les modéliser, avant de les transférer vers une database vectorielle dans laquelle elles ne peuvent plus être transformées.
• Cette plateforme peut constituer l’épine dorsale d’autres utilisations analytiques, telles que la génération de rapports conventionnels, les tableaux de bord et l’informatique décisionnelle.
• Plus important encore, ce référentiel ajoute une certaine modularité à votre architecture. Il existe de nombreuses raisons pour lesquelles vous pouvez avoir besoin de modifier les intégrations de vecteurs et les stratégies de regroupement. Une zone d’essai vous permet de le faire sans avoir à synchroniser à nouveau l’intégralité des data de vos sources.

Pour les applications d’IA, les data lakes gouvernés constituent le meilleur type de référentiel. Ils sont mieux capables de gérer à la fois le stockage à très grande échelle et les data non structurées ou semi-structurées.

Une fois que les data sont transférées dans un data lake ou un data warehouse, elles doivent faire l’objet d’un traitement supplémentaire pour être utiles à l’IA générative. L’une des approches consiste à cataloguer les data et à leur attribuer une signification sémantique réelle en construisant un graphique de connaissances référençable qui illustre les relations entre les entités, les événements et les concepts.

‍

L’autre approche, plus pertinente, consiste à intégrer des data brutes (texte, images, vidéos et autres médias) sous forme de représentations numériques appelées vecteurs dans une database vectorielle. Les data vectorisées peuvent être associées à une demande soumise par un utilisateur, appelée invite, et envoyées à un modèle de fondation en tant que contexte supplémentaire, fournissant ainsi des réponses plus précises et plus pertinentes.

Rassembler tous les éléments

Imaginons que vous disposez d’un texte provenant d’une application et que vous souhaitez l’utiliser pour enrichir un chatbot de service d’assistance automatisé. Si nous suivons l’architecture RAG que nous venons de décrire, la première étape de ce flux de travail est assez simple : mettre en place un connecteur entre la source et la destination sur Fivetran.

La suite du processus implique un travail d’ingénierie. Vous devrez réaliser les étapes suivantes :

1. Construire un pipeline pour extraire, transformer et charger les data pertinentes de votre référentiel de data vers la database vectorielle. Vous pouvez effectuer cette opération une seule fois, conserver les résultats et procéder à une nouvelle synchronisation lorsqu’une quantité suffisante de data sous-jacentes ont été modifiées.
2. Configurer une interface utilisateur capable d’accepter des invites et de les combiner avec le contexte pertinent de la database vectorielle. Parmi les exemples notables de databases vectorielles, nous pouvons citer ChromaDB, Pinecone et Weaviate.
3. Le modèle d’extraction doit envoyer les invites augmentées au modèle de fondation et générer une réponse.

En utilisant des langages, des bibliothèques et des API communs pour les modèles de fondation, il peut être assez facile de mettre au point une application simple, comme un chatbot, qui tire profit de vos data uniques et propriétaires. Demandez à vos ingénieurs, analystes et professionnels des produits de vous faire part de leurs idées. La combinaison de vos data d’application riches en texte avec des modèles de fondation offre de nombreuses possibilités prometteuses.

[CTA_MODULE]