Fivetran kennt die Komplikationen und Herausforderungen der Verwaltung von Data Lakes. Darum präsentieren wir unsere neueste Innovation: Fivetran Managed Data Lake Service. Dieses neue Angebot dient der Automatisierung und Optimierung der Verwaltung Ihres Data Lake, sodass Sie sich auf die wirklich wichtigen Dinge konzentrieren können: die Nutzung Ihrer Daten und die Innovation. Der Fivetran Managed Data Lake Service ist aktuell auf Amazon S3, Azure Data Lake Storage (ADLS) und Microsoft OneLake verfügbar.

Der Fivetran Managed Data Lake Service unterstützt die Transformation bisher oft nicht verwalteter Data Lakes in organisierte, verwaltete und kontinuierlich optimierte Datenspeicher. Native Integrationen wie Datenkataloge, einschließlich AWS Glue, Databricks Unity Catalog und Polaris Catalog, helfen Benutzern, schnell wichtige Datensätze in einem Lake zu entdecken, auf sie zuzugreifen und sie zu verwalten. Anschließend können Benutzer die Daten über Python, SQL oder andere unterstützte Sprachen mithilfe kompatibler Compute-Engines wie Databricks, Snowflake, Starburst oder Redshift abfragen und modifizieren. Alternativ können sie die Daten mit Tools wie dbt transformieren, sie mit Power BI visualisieren oder mit Tools wie AWS Sagemaker, Azure Machine Learning oder Databricks Mosaic AI KI-/ML-Modelle bereitstellen.

Die Vorteile eines verwalteten Data Lake

Data Lakes sind unerlässlich für Organisationen, die Big Data für Analysen, maschinelles Lernen und KI nutzen möchten. Die Instandhaltung eines Data Lake – die Verwaltung der Dateneingabe, die Sicherung der Datenqualität, die Verwaltung von Schemaänderungen und die Leistungsoptimierung – kann sich jedoch als ressourcenintensiv und kompliziert erweisen. Um diese Herausforderungen zu bewältigen, entwickelte Fivetran einen Service, der diese Aufgaben nicht nur vereinfacht, sondern Data Lakes von umständlichen Datenspeichern in dynamische, effiziente und verwaltete Datenumgebungen verwandelt.

Fivetran Managed Data Lake Service integriert automatisch Daten aus über 600 vorgefertigten oder benutzerdefinierten Quellen und normalisiert, komprimiert und dedupliziert sie, bevor sie in offenen Tabellenformaten vom Typ Delta Lake oder Apache Iceberg in Ihren Data Lake eingefügt werden. Durch die Automatisierung dieser Umwandlung können wir typische Data-Warehouse-Funktionen direkt im Data Lake bereitstellen, einschließlich ACID-Transaktionen und skalierbarer Metadatenverarbeitung. Darüber hinaus überwachen und warten wir Ihren Data Lake kontinuierlich, verwalten Updates, Zusammenführungen und Löschungen und sorgen stets dafür, dass alles optimiert, auf dem neuesten Stand und abfragebereit ist.

Dieses Ausmaß an Automatisierung und Wartung ist für viele Unternehmen entscheidend. Nick Chmura, Head of Data at Luma Financial Technologies, erläutert es wie folgt: „Die automatisierte Tabellenwartung von Fivetran ist ein Killer-Feature für uns, weil wir so viele verschiedene Quellkonnektoren haben. Change Data Capture für alle davon einzurichten und zu verwalten, würde einen nicht zu bewältigenden Zeitaufwand für uns bedeuten.“

Wichtige Funktionen und Vorteile

• Automatisierte Datenintegration: Fivetran unterstützt die Eingabe aus über 600 Anwendungen, Datenbanken, Dateien und Ereignisdatenquellen und ermöglicht so die nahtlose Integration mit allen großen Data-Lake-Destinations. Dadurch sind Ihre Daten konsolidiert, organisiert und einfach verfügbar. Außerdem deckt Fivetran die Kosten für die Dateneingabe in Ihren Data Lake ab, wodurch Ihr TCO erheblich reduziert wird.
• Datenstandardisierung in offenen Tabellenformaten: Die Normalisierung und Standardisierung Ihrer Daten in abfragebereiten offenen Tabellenformaten (Apache Iceberg oder Delta Lake) vereinfacht die Durchführung von Analysen und den Gewinn von Erkenntnissen ohne den Aufwand und die Computing-Kosten einer manuellen Datenkonversion in ein Standardformat.
• Kontinuierliche Wartung: Fivetran übernimmt alle Aspekte der laufenden Wartung des Data Lake, von der Schemaevolution bis hin zur Leistungsoptimierung. So ist Ihr Data Lake stets auf dem neuesten Stand und funktioniert optimal.
• Robuste Governance-Tools: Dank integrierter Data-Governance-Funktionen und nativer Integrationen mit beliebten Datenkatalogen werden Ihre Daten nicht nur ordentlich, sondern auch entsprechend Branchenstandards und Vorschriften wie der DSGVO verwaltet.

„Wir freuen uns sehr über die Unterstützung von Delta Lake als direkte Destination mit Fivetran“, sagt Himanshu Raja, Director of Product bei Databricks. „Mit diesen neuen Möglichkeiten können Kunden Fivetran nun nutzen, um ein offenes Lakehouse mit Delta Lake auf Basis der Databricks Data Intelligence Platform zu erstellen. Wir freuen uns ebenso auf die kommende Integration von Fivetran mit Unity Catalog für Out-of-the-Box-Governance und -Sicherheit in allen durch Fivetran generierten Tabellen.“

Wir hoffen, Sie werden den neuen Managed Data Lake Service testen, auch wenn er nicht perfekt zu jedem Fall passt. Wenn Ihr Unternehmen primär Echtzeit-Streaming-Daten mit Latenzen unter einer Sekunde nutzt oder Sie kein offenes Tabellenformat wie Delta Lake oder Iceberg verwenden möchten, ist dieser Dienst möglicherweise nicht die beste Wahl. Dennoch würden wir uns gerne mit Ihnen austauschen – wir bieten auch andere Data-Lake-Optionen an, die Ihren Anforderungen vielleicht besser entsprechen.

Bereit für die Zukunft der Data-Lake-Verwaltung?

Mit dem Fivetran Managed Data Lake Service werden Daten ebenso zugänglich und zuverlässig wie Elektrizität, wodurch Unternehmen neue Chancen erschließen und Innovationen fördern können.

Daten sind nach wie vor entscheidende Ressourcen für Unternehmen, ihre effiziente und effektive Verwaltung wird daher immer wichtiger. Wir automatisieren und verwalten die Standardisierung von Daten, während wir sie an Data-Lake-Destinations verschieben. Dadurch können Unternehmen mit ihnen neue Möglichkeiten finden, Innovationen mit Daten zu fördern.

Ein Lakehouse für den Sommer

Jetzt können Fivetran-Benutzer Managed Data Lake Service von Juni bis August kostenlos testen. Dieses Sommerangebot gilt für Konnektoren an neu eingerichteten Data-Lake-Destinations*.

So nutzen Sie dieses Angebot:

• mit einem kreditwürdigen Fivetran-Konto und
• indem Sie während des Angebotszeitraums einen neuen Konnektor mit S3, ADLS oder OneLake als Destination erstellen (zwischen 1. Juni 2024, 00:01 Uhr UTC und 31. August 2024, 23:59 Uhr UTC).

Gehen Sie dazu direkt zu Ihrem Fivetran-Dashboard und melden Sie sich für eine 14-tägige kostenlose Trial an. Wenn Sie Fragen haben, kontaktieren Sie uns unter sales@fivetran.com.