データレイクハウスとは?主要機能・メリット・活用例・課題

データの保存先に迷っていませんか。幸い、選択肢は豊富にあります。データウェアハウスは構造化データに適していますが、柔軟性が低く、コストもかかります。一方、データレイクは非構造化データや半構造化データの扱いに優れていますが、厳格なガバナンスが整備されていません。ステージングにはデータレイク、分析用モデルにはデータウェアハウスというように両方を併用することもできますが、すぐにコストが増大し、両者の間でデータを移動する際のエラーも目立つようになります。
データレイクハウスは、あらゆる種類のデータを容易に保存し、実用的な情報へとモデル化し、パフォーマンスの問題なく後続システムへ供給できるアーキテクチャです。この複合アーキテクチャの仕組みと、チームがレイクハウスファーストのデータストレージへ移行している理由を詳しく解説します。
データレイクハウスとは?
データレイクハウスは、データレイクのスケーラビリティと低コストなストレージに、データウェアハウスが備える構造化データの管理機能と分析対応機能を組み合わせた複合アーキテクチャです。
レイクハウスは、非構造化データと構造化データの両方をオブジェクトストレージに取り込みます。オブジェクトストレージは従来、非構造化データの扱いに適した保存方式です。そこにオープンテーブルフォーマットを使用して、厳格なスキーマ適用、ACID(原子性、一貫性、分離性、永続性)トランザクション、インデックス作成、追加のガバナンス制御を実現することで、データレイクにデータウェアハウスの機能を加えます。
これらを組み合わせることで、両方のメリットを兼ね備えた単一のアーキテクチャを実現します。構造化データ・半構造化データ・非構造化データを、パフォーマンスやコンプライアンスを損なうことなく扱えます。
データレイクハウスの仕組み
データレイクハウスアーキテクチャは5つのレイヤーで構成されています。各レイヤーの仕組みと、それぞれが全体の目的にどう関わるのかを概説します。
取り込み
データベース、イベントストリーム、SaaS アプリケーションなど、複数のソースからデータを抽出します。Fivetran のような最新の取り込みツールは、スキーマ処理、型変換、重複排除も自動化し、すべてのデータを分析に利用できる状態に整えます。
ストレージ
データは、コンピュートレイヤーから分離された低コストのクラウドオブジェクトストレージで管理します。レイクハウスは構造化・半構造化・非構造化の各形式に対応するとともに、オープンテーブルフォーマットを通じて ACID トランザクションなどのデータウェアハウス機能を実現します。オープンテーブルフォーマットは、ファイル内のデータと、テーブルの状態、パーティション情報、列統計を示すメタデータを組み合わせた仕組みです。
メタデータ
一元化されたメタデータレイヤーで、バージョン、データリネージ、スキーマを追跡します。このレイヤーによって必要な構造が加わり、レイクハウスのコンプライアンスとデータの整理された状態を維持できます。
ストレージとメタデータを組み合わせたオープンテーブルフォーマットの例としては、Iceberg や Delta Lake が挙げられます。
クエリエンジン・API
クエリレイヤーでは、SQL エンジンと DataFrame API を使用して、レイクハウス内のデータを直接変換・クエリします。クエリ処理とストレージが分離されているため、1つのストレージレイヤーに複数のエンジンを組み合わせることができ、それぞれを BI やその他のユースケースに最適化できます。
利用
後続の分析ツールや接続された ML モデルがレイクハウスのデータを利用し、エンドユーザーに一貫したレポーティングと分析を提供します。
柔軟性、スケーラビリティ、俊敏性を備えたデータレイクハウスが、全社的なストレージ基盤として採用されるようになっている理由は明らかです。
データレイクハウス・データウェアハウス・データレイクの比較
データレイクハウスは、既存の2つのデータアーキテクチャ、すなわちデータウェアハウスとデータレイクを組み合わせたものです。それぞれの違いと、企業が各アーキテクチャを利用する理由を解説します。
データウェアハウス
データウェアハウスは、構造化データを格納する一元化されたシステムです。BI や分析に適しており、SQL を使ってデータを素早くクエリできます。一方で、柔軟性に欠けるというデメリットがあります。データウェアハウスではストレージとコンピュートが密結合しているため、一方をスケールすると必然的にもう一方もスケールします。また、生データや非構造化データをうまく扱えない、あるいはまったく扱えない場合が多く、エンジニアは構造化・処理済みのデータを使用する必要があります。
データレイク
データレイクは、生データや非構造化データをオブジェクトストレージに低コストで保存でき、データウェアハウスが苦手とする領域で強みを発揮します。また、非常にスケーラブルで、多くの AI・ML システムのように大量の生データや非構造化データを必要とするシステムとの接続にも適しています。ただし、ガバナンスと一貫性を重視しなければ、データ品質が低下し、いわゆる「データスワンプ」に陥る可能性があります。
データレイクハウス
データレイクハウスは、低コストなレイク型ストレージと、構造化データや分析に適したウェアハウス型ストレージを組み合わせた複合技術です。
レイクハウスが登場した主な理由は、現在の多くのユースケースがデータレイクとデータウェアハウスのどちらか一方には完全に収まらないためです。例えば、データレイク構造に適している機械学習でも、データウェアハウスの構造化データが必要になる場合があります。分離・サイロ化された分析システムからデータを取得すると、コストがかさむうえ、データの重複やエラーが発生するリスクもあります。
データレイクハウスの主要機能
他のアーキテクチャの機能を組み合わせたデータレイクハウスには、以下のような主要機能があります。
- ACID トランザクション:レイクハウスは、通常データウェアハウスに関連付けられる ACID トランザクションをサポートし、複数の処理が同時にデータを読み書きする場合でも整合性を確保します。
- BI サポート:ACID サポートと SQL クエリエンジンにより、アナリストはデータレイクハウスをビジネスインテリジェンスプラットフォームに直接接続できます。
- オープンストレージフォーマット:データチームは、任意のコンピュートエンジンをレイクハウスのオープンストレージフォーマットと組み合わせることができます。
- スキーマとガバナンス機能:レイクハウスはスキーマオンリードに対応しており、データにアクセスするソフトウェア側でデータ構造を定義できます。構造化データについては、アップロードされたデータがすべて定義済みのスキーマに一致するよう強制適用します。
- 多様なデータ型とワークロードへの対応:このストレージオプションは、構造化データと非構造化データの両方を格納できます。そのため、画像・動画・音声・テキストに加え、JSON ファイルなどの半構造化データも保存・変換・分析できます。
- ストレージとコンピュートの分離:ストレージリソースとコンピュートリソースを分離することで、それぞれを独立して調整し、コストを管理しながらワークロードをスケールできます。
レイクハウスは、高い効率性と低コストで多くのモダンなデータファーストシステムにデータを供給できるため、多くの組織にとってデータレイクとデータウェアハウスの長所を併せ持つ選択肢となります。
データレイクハウスの活用例
あらゆる形式のデータを管理できるレイクハウスは、現代のさまざまなユースケースに適しています。レイクハウスの代表的な活用例を紹介します。
リアルタイムストリーミング分析
レイクハウスは、大量のデータを取り込みながら、トランザクションの一貫性と信頼性を維持することに優れています。データをすぐに必要とする後続エンジンに対しても、十分な量と品質のデータを供給できるため、継続的に更新されたインサイトを得られます。
スケーラブルなデータサイエンスと探索
大量のデータをレイクハウスに一元化することで、データセットへのアクセスや実験を容易に行えます。必要なデータを探して複数のシステムを行き来する必要がなくなり、作業を効率化できます。
企業全体での高度な分析
レイクハウスは、BI ツールやダッシュボードなどの後続の分析エンジンにデータを供給します。組織全体が同じ信頼できる情報源のデータに基づいて行動することで、足並みを揃え、一貫性を保つことができます。
データレイクハウスのメリット
レイクハウスは、データレイクのスケーラビリティと、データウェアハウスが持つコンプライアンス重視の構造や分析機能を組み合わせたものです。この2つのアーキテクチャを組み合わせることで、以下のようなメリットが得られます。
- スケーラビリティ:レイクハウスはオブジェクトストレージを使用するため、データ量の増加に合わせてストレージを拡張できます。
- データ管理の改善:ACID トランザクションやスキーマ適用などのデータウェアハウス機能により、より効果的なデータ管理が可能になります。
- シンプルなデータアーキテクチャ:レイクハウスはデータウェアハウスとデータレイクの優れた部分を統合し、2つの独立したアーキテクチャコンポーネントを1つに集約します。
- コスト削減:データアーキテクチャを1つにまとめることで、複数のストレージ環境を並行して維持するコストを削減できます。
- 冗長データの排除:データレイクとデータウェアハウスの間でデータを移動すると、重複が生じる場合があります。レイクハウスによってこうした移動をなくすことで、データのコピーが分散するリスクを低減できます。
データレイクハウスの課題
レイクハウスには多くのメリットがある一方、利用にあたって考慮すべき課題もあります。
- 技術的な複雑さ:オープンテーブルフォーマットを採用したデータレイクハウス特有のアーキテクチャは、レイクハウスの経験がないチームにとって管理が難しい場合があります。
- 新たなスキルセットの必要性:エンジニアは、レイクハウスと組み合わせる新しいツール、システム、クエリエンジンを個別にプロビジョニングする必要が生じる場合があります。
- 適切なコンポーネントの選択:データレイクハウスには5つの異なるレイヤーがあり、それぞれに適切なツールを選択する必要があります。各ツールの選定には、十分な計画と理解が求められます。
Fivetran がデータレイクハウスを支える仕組み
Fivetran の自動化されたデータ統合プラットフォームと豊富なビルド済みコネクタにより、レイクハウスストレージへ継続的にデータを取り込むことが容易になります。700以上のコネクタを活用し、非常に幅広いソースから単一のストレージレイヤーへデータを取り込めます。
また、フルマネージドのエンドツーエンド ELT パイプラインにより、Fivetran はパイプラインの管理・保守作業を完全に不要にします。使いやすく強力な業界最高水準のデータ移動ツールで、データアーキテクチャをスケールできます。詳しくは、無料で始めるか、デモを予約するをクリックしてください。
FAQ
Databricks のデータレイクハウスとは何ですか?
Databricks はレイクハウス構造のパイオニアであり、データウェアハウスとデータレイク双方の長所を組み合わせた、統合型でオープンかつスケーラブルなアーキテクチャとしてレイクハウスを位置付けています。
AWS はデータレイクですか、それともデータウェアハウスですか?
AWS は、データレイクとデータウェアハウスに特化したサービスを提供するクラウドプロバイダーです。AWS では、クラウドデータレイクやデータウェアハウスの機能を、それぞれに特化したツールを通じて利用できます。
データレイクは ETL ツールですか?
いいえ、データレイクは ETL ツールではありません。ETL(抽出・変換・ロード)ツールは、ソースデータをストレージへ移動し、その過程で分析に利用できる状態に整えるデータパイプラインの一種です。データレイクにデータをロードする際には、通常 ETL ツールを使用します。
[CTA_MODULE]
関連ブログ記事
無料で始める
Fivetran でデータを一元化・変換する数千社の企業とともに、データ活用を進めましょう。
