Fivetran & dbt: Warum die Zukunft der Daten offen und zuverlässig sein muss

Von Anfang an war klar, dass Fivetran und dbt Labs die Vision teilen, Datenteams eine offene, interoperable Grundlage zu bieten, die die Zuverlässigkeit einer verwalteten Infrastruktur mit der Flexibilität offener Standards vereint. Diese Überzeugung hat jeden Schritt unserer Zusammenarbeit geleitet, und heute sind wir stolz darauf, diese Vision öffentlich zu teilen, da Fivetran und dbt Labs vereinbaren, ihre Kräfte zu bündeln, um den Standard für offene Dateninfrastrukturen zu setzen.

Diese Vision war für die meisten Unternehmen unerreichbar. Trotz jahrelanger Investitionen haben sich hartnäckige Datensilos und eine unzureichende Nutzung der Daten ergeben AI Piloten, die über das Experimentieren hinausgehen.

Zwei Kräfte machen dies zum richtigen Zeitpunkt, um dieses Muster zu durchbrechen:

1. Die KI hat sich vom Experiment zur Ausführung weiterentwickelt. Sie dient heute als Grundlage für Entscheidungen, bei denen Präzision von entscheidender Bedeutung ist und Transparenz erwartet wird.
2. Offene Standards sind von technischen Idealen zur Grundlage der Dateninfrastruktur von Unternehmen herangereift. Standards wie Tabellenformate öffnen und gemeinsam genutzte Metadaten sorgen jetzt dafür, dass Daten einmal existieren und überall funktionieren, wodurch Speicher von Rechenleistung entkoppelt werden und eine zuverlässige Interoperabilität zwischen Clouds, Engines und Katalogen ermöglicht wird. Die Branche hat sich in der Tat auf gemeinsame Prinzipien und interoperable Rahmenbedingungen festgelegt.

Das ist der Kontext für den Zusammenschluss von Fivetran und dbt Labs. Das Mandat ist klar. Bewegung von Daten, Transformation, Metadaten, Aktivierung, und Semantik muss messbare Zuverlässigkeit, durchgängige Konsistenz und die Wahlfreiheit bieten, die jedes Datenteam erwartet. Diese Infrastruktur basiert auf offenen Standards und gemeinsam genutzten Metadaten und bietet der KI eine kontrollierte, tragbare Grundlage, auf die sie sich verlassen kann.

Warum jetzt

Fivetran und dbt Labs haben mehr als 1.500 gemeinsame kommerzielle Kunden, und es gibt über 16.000 dbt-Projekte, die wöchentlich von Fivetran durchgeführt werden. Sie haben uns gezeigt, was funktioniert, wo noch Chancen bestehen und warum die Zukunft eine einheitliche, offene Dateninfrastruktur erfordert.

Fivetran und dbt verankern jeweils wichtige Teile des modernen Datenstapels und spiegeln fundiertes Fachwissen in den Bereichen Bewegung und Transformation wider. Fivetran hat den Standard für die automatisierte Übertragung von Daten in großem Maßstab gesetzt und wurde von einer veröffentlichten Verfügbarkeit von 99,9% unterstützt. Die hochvolumige Replikation und die über 700 verwalteten Konnektoren erfassen betriebliche Veränderungen mit geringem Aufwand und vorhersehbarer Aktualisierung. dbt hat den Standard für Analysetechnik geschaffen und die Transformation reproduzierbar, testbar und erklärbar gemacht. Seine semantische Ebene verwandelt metrische Drift von einer Unvermeidlichkeit in ein Antimuster.

Zusammen bilden diese Funktionen das Rückgrat einer offenen Dateninfrastruktur, die zuverlässig, portabel und bereit ist, die nächste Generation von Analysen, KI-Agenten und automatisierter Entscheidungsfindung zu unterstützen. Für Unternehmen bedeutet dies schnellere Entscheidungen, weniger Integrationsengpässe und Datensysteme, die sich ohne zusätzliche Komplexität skalieren lassen.

Unser Bekenntnis zur Offenheit

Diese Partnerschaft basiert auf Vertrauen, und Vertrauen hängt von Klarheit ab. Da Klarheit bei Übergängen wichtig ist, wollen wir unsere Verpflichtungen öffentlich darlegen. dbt Core bleibt unter seiner aktuellen Lizenz Open Source und wird weiterhin auf unbestimmte Zeit unterstützt und gewartet. Die dbt Fusion Engine bleibt unter ihrer aktuellen Lizenz als Quellcode verfügbar und wird auch weiterhin auf unbestimmte Zeit unterstützt. Diese Technologien sind nicht nur Bestandteile einer Architektur, sie sind Aushängeschilder der offenen Bewegung und unverzichtbar für die Portabilität, die Kunden erwarten.

Fivetran war schon immer Teil der dbt-Community, und unser Erfolg hängt davon ab, ob wir uns das Vertrauen, das es aufgebaut hat, weiterhin verdienen. Wir haben mehr als 60 Beiträge geleistet Open-Source-DBT-Pakete, was unseren Glauben an eine offene Zusammenarbeit und unser Engagement für dieses Ökosystem zeigt. Wir bieten nicht nur bereits fortschrittliche Integrationen mit dbt Core und der dbt-Plattform an, und wir sind bestrebt, auf dieser Grundlage aufzubauen, um ein einheitliches Erlebnis zu bieten.

SQL-Mesh und SQLGLOT wird Open Source bleiben, und wir setzen uns dafür ein, ihre Communities zusammen mit der dbt-Community zu unterstützen. Beide Frameworks sind in der Branche für SQL-Parsing, -Optimierung und -Transformation hoch geschätzt und weit verbreitet.

Unsere Mission ist es, Datenteams Auswahl und Kontrolle zu geben durch offene Standards, nicht durch proprietäre Lock-in. Offene Lizenzierung ist grundlegend, und Offenheit im Design erstreckt sich auch auf Portabilität, Interoperabilität und Vertrauen. Durch gemeinsame Standards wie SQL, APIs, DBT und offene Tabellenformate können Datenteams Daten überall hin verschieben, modellieren und aktivieren, wobei sie sich darauf verlassen können, dass ihre Tools und Daten vollständig ihre eigenen bleiben.

Gebaut für die KI-Ära

KI verändert alles an der Art und Weise, wie Unternehmen Daten verwenden, und legt gleichzeitig die Grenzen fragmentierter Systeme offen. Mit Fivetran können Kunden Daten mithilfe automatisierter Pipelines, die Genauigkeit, Aktualität und Belastbarkeit gewährleisten, zuverlässig von jeder Quelle an jedes Ziel übertragen. Mit dbt können sie diese Daten direkt im Warehouse modellieren, dokumentieren und verwalten und schaffen so die Grundlage, die KI benötigt.

Dieser Moment ist größer als jedes Unternehmen. Zusammen liefern wir:

• Breite: Die größte Bibliothek vorgefertigter Konnektoren und verfeinerter DBT-Datenmodelle.
• Zuverlässigkeit: Verfügbarkeit und Belastbarkeit auf Unternehmensebene, die sich auf globaler Ebene bewährt haben.
• Geschwindigkeit und Effizienz: Eine speziell für SQL entwickelte Transformationsengine, die von einer zustandsorientierten Orchestrierung unterstützt wird, die redundante Berechnungen überflüssig macht.
• KI-betrieben: Agenten und Copiloten, die die Reichweite und Leistungsfähigkeit jedes Datenteams erweitern.

Überlegen Sie, wie das in der Praxis funktioniert. Saks verwendet Fivetran, um Betriebsereignisse aus Dutzenden von SaaS-Apps und OLTP-Systemen mit SLAs für Bereitstellung und Verfügbarkeit zu liefern. dbt orchestriert Verträge, Tests und Transformationen, die zu kontrollierten Modellen und einer semantischen Ebene zusammengefasst werden. Dieselben Definitionen fließen in Analyseberichte ein, aber auch in KI-Agenten, die Antworten gebenKönnen Sie mir auf der Grundlage früherer Einkäufe eine Kaufempfehlung geben?“ und zeigt anhand von Lineage genau an, welche Eingaben wann gelesen wurden. Auf diese Weise erhalten die Agenten den richtigen Kontext und die Dokumentation, der sie vertrauen können.

Gemeinsam werden Fivetran und dbt die Lücke zwischen Rohdaten und KI-fähigen Daten schließen.

Eine Zukunft, die von Offenheit und Zuverlässigkeit geprägt ist

Offenheit und Zuverlässigkeit können widersprüchlich erscheinen, wobei die eine Flexibilität und die andere die Berechenbarkeit betont. Bei Fivetran und dbt Labs betrachten wir sie als Ergänzung. Offenheit ist nur erfolgreich, wenn sie zuverlässig genug ist, um Unternehmen zu skalieren, und Zuverlässigkeit ist von Dauer, wenn sie auf offenen, interoperablen Grundlagen aufbaut.

Bis zum Abschluss der Transaktion läuft für die Kunden alles wie gewohnt, ohne dass sich die Verträge oder der Support ändern. Nach dem Abschluss bleibt unser Engagement unverändert: Wir wollen offene Standards aufrechterhalten, Zuverlässigkeit auf Unternehmensebene bieten und unsere Plattformen weiterhin zu einer offenen Infrastruktur zusammenführen, die es KI ermöglicht, selbstbewusst zu skalieren.

An die dbt-Community, an unsere gemeinsamen Kunden und an alle Datenspezialisten, die dieses Ökosystem geprägt haben: Vielen Dank. Sie haben das Fundament geschaffen, auf dem wir stehen, und wir setzen uns dafür ein, es gemeinsam zu stärken und voranzutreiben.

Die Ära der offenen Dateninfrastruktur ist angebrochen und bietet KI ist das Fundament es hat schon immer gebraucht: die Zuverlässigkeit, auf die Unternehmen angewiesen sind, und die Offenheit, die Teams kontrollieren. Die meisten Daten auf der Welt bleiben ungenutzt. Es ist an der Zeit, sie zu Ihren Bedingungen in die Tat umzusetzen.