Data-Lake-Verwaltung mit Fivetran automatisieren

Unser Ansatz, Daten in einen Data Lake zu verschieben und dort bereitzustellen, bietet Kund*innen Datenmanagement-Funktionen, wie sie sonst vor allem aus Data Warehouses bekannt sind. Die automatische Konvertierung in Apache-Iceberg- und Delta-Lake-Tabellenformate macht Data Lakes deutlich leistungsfähiger: Aus unübersichtlichen Datensammlungen werden strukturierte, gut verwaltete Datenspeicher. Diese Transformation vereinfacht Abläufe, stärkt die Governance und erhöht die Nutzbarkeit der Daten. Damit entsteht eine wichtige Grundlage, um Daten wirksamer für Erkenntnisse zum Unternehmen und Innovation zu nutzen. Erfahren Sie mehr über die Funktionen des Fivetran Managed Data Lake Services.

Data Lakes trennen die Speicherebene des Data Warehouse bewusst heraus und legen sie in einem separaten, anbieterneutralen Format im Objektspeicher ab. So entsteht eine universelle Speicherebene: Sie verschieben Ihre Daten nur einmal, können sie aber je nach Auslastung mit den jeweils besten Services abfragen. Das bedeutet, dass mehrere spezialisierte Ausführungs-Engines mit demselben Data Lake arbeiten können – gesteuert über einen Katalog, der Transaktionen und granulare Berechtigungen bereitstellt. Erfahren Sie, wie Data Lakes die Gesamtbetriebskosten senken.

Ja! Kund*innen im Business-Critical-Abonnement haben die Möglichkeit, ihren Data Lake über einen privaten Netzwerkpfad anzubinden, sodass der Datenverkehr nicht über das öffentliche Internet läuft. Auf Objektspeicher in jeder Cloud wird über öffentliche Endpunkte zugegriffen, der Datenverkehr wird jedoch über das interne Backbone des jeweiligen Cloud-Anbieters gesichert geroutet. Bucket-Richtlinien beschränken den Zugriff ausschließlich auf die richtige Verarbeitungsregion. Wir unterstützen die standardmäßigen Private-Networking-Mechanismen der großen Cloud-Anbieter: AWS Gateway Endpoints, Azure Virtual Network Service Endpoints und Google Clouds Private Google Access. AWS Gateway Endpoints, Azure Virtual Network Service Endpoints und Private Google Access von Google Cloud. Erfahren Sie mehr über Private Networking für Data Lakes.

Ja! Der Fivetran Managed Data Lake Service enthält standardmäßig einen selbst gehosteten Iceberg REST Catalog (Apache Polaris). So können Sie Apache-Iceberg-Tabellen direkt und reibungslos verwalten, ohne zusätzliche Einrichtung. Der Katalog ist erforderlich, um ACID-Transaktionen für Apache-Iceberg-Tabellen zu steuern. Sie haben außerdem die Möglichkeit, einen eigenen externen Katalog wie AWS Glue, Databricks Unity Catalog, BigQuery Metastore oder OneLake zu verwenden. Der Iceberg REST Catalog kann dabei als Fallback sowie für erweiterte Szenarien im Metadatenmanagement genutzt werden. Erfahren Sie mehr über die Katalogunterstützung für Data Lakes.

Der Fivetran Managed Data Lake Service konvertiert Quelldaten in der Pipeline in Parquet-Dateien und speichert sie in dedizierten Tabellen in Ihrem Data Lake. Am besten verwenden Sie die Tabellenmetadaten, um Ihre Daten zu lesen oder abzufragen. Diese sind sowohl in Iceberg- als auch in Delta-Lake-Tabellenstandards in Ihrem Katalog verfügbar. Erfahren Sie, wie Sie Daten aus Ihrem Data Lake abfragen.