Comment choisir entre une base de données en colonnes et une base de données en lignes

Les performances des bases de données dépendent largement du type de stockage de base de données que vous choisissez. La plupart des organisations utilisent soit une base de données de lignes, soit une base de données de colonnes, soit une combinaison des deux.

Les bases de données orientées lignes sont idéales pour certains modèles d'accès, en particulier le traitement transactionnel, tandis que les bases de données orientées colonnes conviennent mieux au traitement analytique.

Le type de base de données que vous choisissez (base de données en lignes ou en colonnes) est essentiel. La décision doit être prise avec soin après avoir pesé les avantages et les compromis des deux types et analysé vos besoins d'utilisation.

Dans cet article, nous allons examiner la différence entre une base de données en colonnes et en lignes et leur fonctionnement. Nous expliquerons également leurs avantages et leurs inconvénients et expliquerons pourquoi les bases de données en colonnes sont supérieures pour les équipes d'analyse.

[MODULE_CTA]

Base de données de lignes

Les bases de données orientées lignes sont utilisées dans les systèmes de gestion de bases de données traditionnels qui sont principalement axés sur le stockage. Dans un magasin de lignes ou une base de données de lignes, les données sont stockées ligne par ligne. Cela signifie que les données de la première colonne d'une ligne seront placées après les données de la dernière colonne de la ligne précédente. Simplifions cela à l'aide d'un exemple. Supposons que vous souhaitiez stocker les données d'un tableau intitulé « Principaux clients » :

‍

Dans une base de données de lignes, cela serait stocké comme suit :

John, homme, États-Unis 63 | Mary, femme, Canada 29 | James, homme, Australie 48 |

Ici, le « | » signifie la fin du bloc, ce qui signifie que toutes les données de ce bloc sont stockées ensemble.

Cette méthode de stockage sur disque est idéale pour les requêtes transactionnelles lorsque les données sont divisées en blocs et en lignes.

Ainsi, les bases de données de lignes sont couramment utilisées pour Traitement transactionnel en ligne (OLTP), où une seule « transaction », telle que l'insertion, la suppression ou la mise à jour, peut être effectuée rapidement à l'aide de petites quantités de données.

Les magasins en ligne, tels que MySQL et Postgres, sont parfaits lorsque la totalité ou la plupart des données de la ligne doivent être utilisées. Les ingénieurs de données utilisent l'indexation pour éviter ou accélérer les analyses de tableaux complets et optimiser les requêtes. C'est alors qu'une clé unique est créée à partir de colonnes en fonction de vos modèles d'accès.

Pros

La modification des données est plus facile

Les données d'une base de données de lignes étant stockées dans des blocs individuels, il est plus facile d'ajouter de nouvelles données et de modifier les valeurs actuelles. Les nouvelles données sont simplement ajoutées à la fin du bloc précédent. Supposons, par exemple, que nous ajoutions de nouvelles valeurs aux données « Principaux clients ».

‍

Cela ressemblerait alors à ceci :

John, Homme, États-Unis 63 | Mary, Femme, Canada 29 | James, Homme, Australie 48 | Kate, Femme, Royaume-Uni 38 |

La suppression d'une ligne est également plus facile dans ce stockage car l'intégralité du bloc de données peut être effacée en une seule fois.

Idéal pour OLTP

Les bases de données basées sur des lignes sont très efficaces pour traiter les opérations sur une seule ligne. Ils sont conçus pour un traitement rapide et efficace des transactions en ligne dans des environnements hautement concurrents et sont souvent fortement indexés.

Les inconvénients

Agrégation des données plus lente

Les bases de données orientées lignes rencontrent des difficultés d'agrégation car les données de chaque ligne doivent être chargées avant que les données pertinentes puissent être extraites et exploitées.

Par exemple, si nous voulions connaître l'âge moyen des clients masculins dans le tableau « Principaux clients » et que nous utilisions un magasin en ligne, toutes les données clients seraient chargées en premier, puis les données pertinentes seraient extraites.

Compression insuffisante

Les mécanismes de compression sont moins efficaces sur les bases de données de lignes car plusieurs lignes contenant différents types de données doivent être compressées simultanément. Une compression insuffisante rend difficile la gestion de grands volumes de données.

Nécessite un espace supplémentaire

Comme les bases de données de lignes ne peuvent pas être compressées efficacement, elles nécessitent beaucoup plus d'espace de stockage que les bases de données en colonnes. Outre les données, les bases de données de lignes occupent de l'espace supplémentaire car elles utilisent plusieurs index.

Base de données en colonnes

Une base de données en colonnes stocke toutes les données de chaque colonne dans un seul bloc. Considérez-le comme un partitionnement vertical par rapport au partitionnement horizontal d'un magasin en rangée.

Par exemple, une base de données en colonnes stockerait les données des « meilleurs clients » de la manière suivante :

John Mary James | Homme Femme Homme | États-Unis Canada Australie | 63 29 48

En voici une illustration :

En organisant les données de cette manière, il est plus facile de données agrégées et effectuez des calculs. Si nous voulions trouver l'âge moyen de ce groupe, nous pourrions le calculer directement à l'aide des données de ce bloc spécifique. Les boutiques orientées colonnes sont donc idéales pour le traitement analytique en ligne (OLAP).

Pros

Idéal pour les applications OLAP

Bases de données utilisant des colonnes le stockage présente un avantage majeur par rapport aux bases de données équivalentes utilisant un stockage basé sur les lignes : les performances des requêtes sont beaucoup plus rapides pour les requêtes analytiques qui traitent de nombreuses données. Les données ne sont accessibles que si cela est nécessaire pour calculer le résultat de la requête.

La plupart des bases de données relationnelles d'analyse et de reporting modernes telles qu'Amazon Redshift, SAP HANA, Oracle, Microsoft et la base de données Vector d'Actian utilisent le stockage en colonnes. Si vous recherchez une solution performante pour prendre en charge la création de rapports via des outils basés sur SQL, envisagez une base de données en colonnes.

Agrégation de données plus rapide

L'agrégation des données est plus rapide dans les bases de données en colonnes puisque chaque bloc contient toutes les valeurs d'un champ de données particulier. Cela permet aux applications analytiques d'agréger un volume élevé de données provenant de plusieurs colonnes sans avoir à effectuer de recherches dans le tableau entier. L'agrégation rapide est indispensable pour les charges de travail analytiques qui impliquent généralement des requêtes complexes.

Vitesses de compression élevées

Dans une base de données basée sur des colonnes, chaque colonne possède des types de données uniformes, ce qui rend les algorithmes de compression beaucoup plus efficaces. Chaque colonne peut être compressée en un seul fichier, ce qui permet aux analystes et aux ingénieurs de données de compresser rapidement des volumes de données importants.

Nécessite moins d'espace

Une meilleure compression signifie que les données occuperont moins d'espace disque. Les entreprises peuvent stocker, agréger et exploiter de nombreux ensembles de données sans investir dans des options de stockage supplémentaires.

Les inconvénients

La modification des données est plus lente

Les opérations sur une seule ligne sur les bases de données en colonnes sont généralement moins efficaces et les modifications sont plus lentes que dans les bases de données basées sur des lignes. Les bases de données en colonnes préfèrent traiter les insertions, les mises à jour et les suppressions (ou fusions) comme des opérations par lots.

Par exemple, si vous souhaitez ajouter une ligne de données, chaque valeur de la nouvelle ligne doit être ajoutée au bloc approprié de la base de données existante. Cela peut se compliquer lorsqu'il y a de nombreuses colonnes.

Base de données en colonnes ou de lignes : différences clés

Voici un résumé de la comparaison entre une base de données de lignes et une base de données de colonnes :

‍

Pourquoi les bases de données en colonnes sont idéales pour l'analyse

D'un point de vue analytique, les bases de données en colonnes Trump Row se stockent facilement. Il y a trois raisons à cela.

Vitesse de compression

Comme nous l'avons vu précédemment, les vitesses de compression sont beaucoup plus rapides sur une base de données en colonnes que sur une base de données en lignes.

Ceci est crucial pour les requêtes analytiques car cela permet aux analystes et outils de business intelligence pour analyser de grands volumes de données et obtenir rapidement des informations.

Accès simplifié

En général, les applications analytiques nécessitent des données différentes provenant de plusieurs colonnes. Les organisations disposent généralement de tableaux composés de centaines ou de milliers de colonnes et de lignes. Une requête sur une base de données de lignes nécessiterait le chargement de toutes ces données, puis l'analyse des sections pertinentes pour trouver la réponse. Souvent, les données changent beaucoup plus rapidement que le temps nécessaire à une base de données de lignes pour résoudre la requête. Une base de données en colonnes facilite l'accès à des données qui évoluent rapidement et permet aux applications de résoudre rapidement les requêtes.

Meilleur rangement

Les mécanismes de compression sont plus efficaces dans les bases de données en colonnes. Cela permet un stockage très efficace. Une base de données de colonnes peut stocker beaucoup plus de données qu'une base de données de lignes lorsqu'elle dispose du même espace disque.

Les bases de données en colonnes permettent également de trier les données de différentes manières. Les colonnes ou les projections ordonnées rendent les bases de données de colonnes plus tolérantes aux erreurs car les données sont stockées plusieurs fois.

Coûts et performances

Les utilisateurs finaux veulent toujours bénéficier des meilleures performances et de données à jour, tandis que la direction souhaite généralement le coût le plus bas. Il n'est pas facile de trouver un équilibre entre ces exigences.

Si le coût n'était pas un problème, la solution aurait peut-être été d'installer le plus grand système OLTP du marché (c'est-à-dire Oracle Exadata) et de payer pour des optimisations en colonnes du système afin d'obtenir un traitement rapide des transactions et des requêtes performantes sur une base de données unique. De manière plus réaliste, votre organisation envisage peut-être des alternatives comme Amazon Redshift pour équilibrer performances et coûts.

Réplication hétérogène

La synchronisation d'une autre base de données peut être réalisée en temps réel réplication des données. La plupart des solutions de réplication de données fonctionnent efficacement en fonction des journaux capture des données de modification (CDC) sur les bases de données OLTP sources pour rejouer l'opération à l'aide d'instructions SQL sur le système de destination.

Pour une base de données en colonnes, vous pouvez ajouter des optimisations de performances afin de garantir que le système est à jour en (quasi) temps réel, malgré les volumes de transactions élevés sur la ou les bases de données source.

ELT pour bases de données colonnaires

Le CEINTURE Le processus (Extract, Load, Transform) collecte des données à partir de sources et les charge dans le stockage. Les analystes et les ingénieurs appliquent ensuite des transformations pour obtenir des données viables.

‍

Un flux de travail ELT est idéal pour les pipelines de données qui utilisent des bases de données en colonnes, comme entrepôt de données dans le cloud. Il facilite la collecte et le chargement rapides des données dans un entrepôt ou un data lakehouse. L'ELT permet un accès plus rapide aux données, permet des pipelines de données automatisés, coûte moins cher qu'un pipeline basé sur ETL et tire parti des fonctionnalités natives des entrepôts de données dans le cloud.

Des plateformes qui permettent aux organisations de créer des pipelines ELT automatisés parfaitement, comme Fivetran, sont à l'épreuve du temps. Ils utilisent des connecteurs pour intégrer facilement des bases de données en colonnes, comme Amazon Redshift, dans votre pipeline. Les pipelines ELT constituent le meilleur choix pour la plupart des organisations modernes qui s'appuient sur une collecte rapide de données provenant de sources multiples.

Conclusion

Les bases de données basées sur des lignes et des colonnes ont des objectifs uniques. Cependant, les besoins actuels des entreprises exigent de la rapidité. Un stockage inefficace peut ralentir l'analyse, ce qui nuit à la compréhension, à l'innovation et à la croissance.

Les bases de données basées sur des colonnes constituent l'option de stockage incontournable pour les applications OLAP et permettent une résolution plus rapide des requêtes. Les entreprises utilisent souvent des magasins de lignes et de colonnes ensemble pour gérer différents types de requêtes. Votre pipeline de données doit prendre en charge les deux options de stockage et un pipeline ELT est la solution idéale pour cela. Il facilite le transfert rapide des données et les transformations personnalisées, ce qui peut améliorer les analyses.

‍