Innovative Unternehmen müssen Daten aus verschiedenen Quellen erfassen und sie zentral speichern, um die Analyse zu vereinfachen.

Allerdings kann dies für Unternehmen aller Größen problematisch sein, da die Daten über viele externe wie auch interne Quellen hinweg vorliegen – verschiedene kundenorientierte Anwendungen, Facebook und Google für Marketing, Salesforce für CM, Zendesk für Helpdesk und mehr.

In der Vergangenheit umfasste die Datenintegration in der Regel die manuelle Kodierung benutzerdefinierter Verbindungen durch Datentechniker, um Daten-APIs zu verbinden. Allerdings ist das manuelle Erstellen und Verwalten individueller Code-Verbindungen sowohl zeit- als auch arbeitsaufwendig.

All diese Probleme können sich summieren und schließlich zu viel für die Datentechniker werden, sodass ein Engpass für Ihre Datenanalysten entsteht.

Es gibt jedoch eine bessere Möglichkeit zur Integration Ihrer Daten – automatisierte Data Connectors.

In diesem Artikel erklären wir, was Data Connectors sind und was es damit auf sich hat. Außerdem werden wir auf die Probleme eingehen, denen sich Datentechniker bei der manuellen Erstellung und Verwaltung von Data Connectors gegenübersehen, und wie der Kauf automatisierter Konnektoren die Lösung sein kann.

Was ist ein Datenkonnektor?

Ein Datenkonnektor ist ein Software-Prozess, der Rohdaten aus verschiedenen Quellen erfasst und zur Integration in eine Data Pipeline einspeist. Er besteht aus dem Data Uniform Resource Identifier (URI), einer Authentifizierungsmethode, einem Datentyp und anderen Komponenten, die gegebenenfalls für den Zugriff auf die einzelnen Datenquellen erforderlich sind.

Konnektoren sind der erste Schritt hin zur Datenintegration. Sie erfassen Daten aus Anwendungen und Datenbanken, die von Teams in verschiedenen Bereichen wie Marketing, Vertrieb und HR verwendet werden, sowie von Websites und anderen für das Unternehmen relevanten Quellen.

Wenn der Konnektor Daten erfasst hat, werden sie über andere Mechanismen in eine Destination wie etwa ein Data Lake-System, ein Business Intelligence-Tool oder eine Berichterstellungsanwendung geladen, wo sie dann zur Analyse transformiert werden.

In der Vergangenheit war es zur Datenintegration erforderlich, dass Datentechniker und Entwickler manuell Skripts kodierten, um Daten aus den einzelnen Quellen zu erfassen. Allerdings haben sich Datenteams seither von diesem Ansatz wegbewegt, weil er mit hohen Kosten und hohem Arbeitsaufwand verbunden und langsam ist.

Sie verließen sich auch auf Workflow-Management-Plattformen für Data-Engineering-Pipelines, aber diese Tools schränkten die Art und Anzahl der Datenquellen ein, mit denen man sich verbinden konnte.

Dennoch sind beide Methoden für klassische Data Pipelines möglich, die den ETL-Prozess (Extrahieren, Transformieren, Laden) zur Datenintegration nutzen.

Heute benötigen Datenanalysten und Datenwissenschaftler stets einen schnellen Zustrom aktueller Daten, um Entscheidungen in schnelllebigen Märkten treffen zu können. Veraltete Daten können sich negativ auf die Fähigkeit eines Unternehmens auswirken, auf Kunden einzugehen und auf Marktentwicklungen zu reagieren. Die entstehende Verzögerung könnte zu verringerten Umsätzen und Gewinnen führen.

Aus diesem Grund bevorzugen die meisten modernen Unternehmen ELT-Datenintegrationslösungen. Diese cloudbasierten Plattformen sind leicht einzurichten, bieten schnellen Zugriff auf Daten und ermöglichen eine erhebliche Verkürzung der Zeit, die für die Entwicklung und Pflege von Pipelines erforderlich ist.

Automatisierte vorgefertigte Data Connectors, wie sie von Lösungen wie Fivetran bereitgestellt werden, sind dafür ideal, da sie eine schnelle Integration ermöglichen, wenig bis gar keine Überwachung und Wartung erfordern und individuell angepasst werden können, um diversen geschäftlichen und analytischen Anwendungsfällen zu entsprechen.

[CTA_MODULE]

Traditionelle Ansätze zur Datenintegration

Traditionell haben Datentechniker Skripte und Task-Manager nach Bedarf zusammengefügt. Dieser Ansatz wurde schließlich von Tools wie SSIS (SQL Server Integration Services) und Airflow abgelöst.

Jeder dieser Ansätze bringt verschiedene Probleme mit sich.

Zusammengefügte Skripte gehen mit einem hohen Arbeitsaufwand in Bezug auf die Wartung und Verwaltung verschiedener Aufträge einher. Dieses Problem steigt mit zunehmender Skalierung erheblich, insbesondere in Fällen, in denen sich Ihre Anforderungen verändern und Sie nicht mehr nur wenige, sondern Dutzende Datenquellen benötigen.

Tools wie Airflow und SSIS stellen hauptsächlich Verbindungen mit spezifischen Datenquellen her, in der Regel Datenbanken. Diese Tools werden in Kombination mit traditionelleren ETL-basierten Data Pipelines verwendet.

Das Problem mit diesen ETL-Methoden

Bei traditionellen Methoden zur Übertragung von Daten von Punkt A zu Punkt B mit modernen Anwendungen ist es erforderlich, dass Datentechniker benutzerdefinierte Konnektoren für APIs erstellen. Tools wie Salesforce und Asana verfügen über APIs, mit denen es (nicht so) einfach ist, Daten zu extrahieren.

Bei meiner Arbeit als Datentechniker musste ich in der Vergangenheit wieder und wieder Konnektoren für diese Systeme erstellen und jedes Mal ein neues Paket schreiben, nur um einen weiteren Satz von REST- oder SOAP-Endpunkten zu verarbeiten.

Sicher, mit geschickter Technik kann man aus einer Sammlung von quellspezifischen Konnektoren eine allgemeine Lösung machen. Aber benutzerdefinierte Konnektoren sind erst der Anfang der Probleme.

Zusätzlich zur Entwicklung Ihrer Konnektoren müssen Datentechniker außerdem Systeme erstellen, die die Protokollierung, Abhängigkeitsverwaltung und Versionskontrolle verwalten, und darüber hinaus eine Form von CI/CD (Continuous Integration/Continuous Development) einführen.

Wenn diese anfänglichen Pipelines erstellt wurden, verbringen Sie eine Menge Zeit mit der Verwaltung, der Anpassung, wenn bei Konnektoren Probleme auftreten, und der Aktualisierung, wenn Teams neue Spalten und Tabellen benötigen.

Aus diesem Grund sind Datentechniker häufig für die schwerwiegendsten Engpässe im Daten-Lebenszyklus verantwortlich.

Der Data Engineering-Engpass

All die mit dem Erstellen von Konnektoren verbundene Arbeit hält Datentechniker auf und führt häufig zu Engpässen.

Datenwissenschaftler und Datenanalysten sind über viele Unternehmen hinweg einer Meinung: Die Datentechniker können einfach nicht mit ihren Anforderungen Schritt halten. Die Datentechniker teilen diese Erkenntnis.

Selbst mit robusten, fortschrittlichen Software-Bibliotheken wie Airflow und Luigi gibt es immer noch mehr Datenquellen, die herangezogen und integriert werden müssen. Diese konstante Notwendigkeit, aktuelle Pipelines und Infrastrukturen zu entwickeln und zu pflegen, bedeutet, dass Datentechniker ständig alle Hände voll zu tun haben.

Aus diesem Grund wenden sich die meisten Unternehmen automatisierten Data Connectors und ELT zu, um ihre Data Pipelines voranzutreiben.

Warum ELT die Zukunft der Datenintegration ist

Das Problem mit ETL ist, dass es langsam und zusätzlich eng in den Data Engineering-Prozess eingebunden ist.

Bei Verwendung von ETL müssen Datentechniker viel Zeit mit der Entwicklung komplexer Geschäftslogiken verbringen, bevor sie die Daten in das Data Warehouse oder den Data Lake eines Unternehmens laden können.

Um die im Rahmen des Data Engineerings entstehenden Engpässe weiter zu reduzieren, nutzen automatisierte Konnektor-Plattformen ELT (Extrahieren, Laden, Transformieren) anstelle von ETL.

Der Hauptunterschied zwischen ETL und ELT besteht in der Reihenfolge der Abläufe. Anstelle

komplexe Geschäftslogiken auszuführen, bevor Sie die Daten in Ihre Datenspeicherlösung laden, laden Sie die Daten zuerst in Ihr Data Warehouse oder Ihren Data Lake. Somit können Analysten und Datentechniker die Logiken danach anwenden.

ELT ermöglicht Ihren Analysten schnelleren Datenzugriff dank eines einfacheren Workflows und kürzerer Abwicklungszeiten für Projekte.

Darüber hinaus ermöglichen viele automatisierte Konnektoren die einfache Integration in Datentransformationstools wie dbt. Das bietet Ihrem Team die Möglichkeit, Best Practices der Software-Entwicklung wie etwa die Versionskontrolle zu nutzen.

Somit hilft die Verwendung automatisierter Konnektoren mit einer Plattform wie Fivetran dabei, eine effiziente und automatisierte ELT-Data Pipeline aufzubauen, ohne sich Sorgen um Faktoren wie Skalierung, Flexibilität oder Wartung machen zu müssen.

Die Vorteile automatisierter Data Connectors

Organisationen können ihre Datenintegration und ihren Analyse-Workflow mit automatisierten Data Connectors vereinfachen.

Diese Konnektoren bieten vier wesentliche Vorteile.

Erfassen der relevantesten Daten

Big Data ist für Unternehmen für sich genommen nicht hilfreich. Damit das Unternehmen datengetrieben handeln kann, benötigen Analysten und Datenwissenschaftler den schnellen und zeitgemäßen Zugang zu ihren Daten. Traditionelle Methoden wie ETL sind langsam – und in vielen Fällen sind langsame Daten genauso problematisch wie falsche Daten. Unternehmen zielen darauf ab, Entscheidungen basierend auf den aktuellen Vorkommnissen zu treffen, nicht darauf, was gestern oder im letzten Monat war.

Integrieren mit Business Intelligence-Tools

Automatisierte Data Connectors bieten Ihrem Team die Möglichkeit zur Integration mit Transformations-Tools wie dbt. Sie können Ihre automatisierten Konnektoren mit einer bestimmten Quelle verbinden, die entsprechenden dbt-Pakete installieren und innerhalb eines Tages Analysen anhand von bereitgestellten Tabellen und Zusammenführungen durchführen, die Ihnen die Möglichkeit bieten, die Leistungen Ihres Support-Teams besser nachzuvollziehen.

Verbessern der Produktivität

Automatisierte Data Connectors können einfach und mit minimaler Konfiguration, Kodierung und Nutzerinteraktion mit verschiedenen Datenquellen verbunden werden. Das bedeutet, dass Ihr Team keine Codes oder Infrastruktur-Elemente entwickeln muss, um eine Vielzahl komplexer API-Konnektoren verwalten zu können.

Solche Low-Code- oder No-Code-Data Pipelines helfen Ihnen, Zeit für Entwicklung und Wartung einzusparen.

Wenn sich eine API ändert, muss Ihr Team diese Änderungen nicht in ihre Konnektoren einprogrammieren, da der Anbieter dafür verantwortlich ist. Somit entfällt die Notwendigkeit, wiederholt dieselben Asana- oder Salesforce-Konnektoren zu kodieren, wie es für viele Datentechniker derzeit noch der Fall ist.

Ermöglichen fundierter Entscheidungen

Automatisierte Data Connectors von Fivetran helfen Ihrem Datenteam, ein vereinheitlichtes Dashboard und ein zentralisiertes Speichersystem für sämtliche datenbezogenen Anforderungen zu erstellen. Wenn Analysten die Möglichkeit haben, mit nur wenigen Klicks auf Daten von SaaS-Anwendungen und Datenbanken zuzugreifen und sie zusammenzuführen, können sie schneller bessere Erkenntnisse gewinnen.

Außerdem sind so direkt umfassende Datensätze verfügbar, die nach Bedarf sortiert und organisiert werden können. Das hilft ihnen dabei, den gesamten Kontext für eine bestimmte Kennzahl oder einen Datensatz zu sehen und basierend darauf die richtigen Schlüsse zu ziehen.

Somit können geschäftliche Entscheidungen auf der Grundlage exakter, datengetriebener Analysen getroffen werden statt von Erkenntnissen, die nur auf einem Datenbereich basieren.

Kaufen oder Erstellen: Welche Methode ist besser?

Unternehmen verlassen sich nach wie vor auf mehrere Lösungen für verschiedene Abteilungen und die manuelle Verwaltung von Data Pipelines, um einen genauen Überblick über die geschäftlichen Abläufe zu erhalten. Dies kann die Business Intelligence-Bemühungen verlangsamen oder sogar vollständig zunichtemachen.

Um Unternehmen zu helfen, dies zu vermeiden, haben wir uns den Kauf im Vergleich zum Erstellen von Data Pipelines angesehen, um hervorzuheben, warum vorgefertigte Konnektoren der bessere Ansatz sind.

Sehen wir uns das genauer an.

Entlasten von Datentechnikern von der Verwaltung von Konnektoren

Das manuelle Erstellen eines Datenkonnektors für jede einzelne Quelle ist mit einem hohen Arbeits- und Zeitaufwand verbunden, wodurch die ohnehin schon stark ausgelasteten Data Engineering-Ressourcen von wichtigerer Arbeit abgehalten werden.

Gebrauchsfertige Datenintegrationstools wie Fivetran verfügen über automatisierte Data Connectors für häufig verwendete Datenquellen, die die erforderliche Zeit für die Umwandlung von Rohdaten in endgültige Datenprodukte wie Dashboards mit minimaler Engineering-Zeit drastisch senken können.

Dadurch wird Datentechnikern der Druck der Entwicklung komplexer Dateninfrastrukturen genommen. Automatisierte Konnektoren können Ihren Daten- und Softwaretechnikern helfen, sich stärker auf das Beheben großer, wichtiger Probleme zu konzentrieren, anstatt Zeit mit dem Schreiben von Code für spezifische datenbezogene Abläufe zu verbringen.

Der Kauf automatisierter Data Connectors ermöglicht es Ihren Datentechnikern letzten Endes, an wichtigeren Projekten zu arbeiten.

Einsparen von Kosten

Einer der größten Kostenpunkte beim Erstellen von Data Pipelines besteht im Aufbau eines Teams von Datentechnikern und darin, dieses Team für die minutiöse manuelle Planung, Entwicklung und Erstellung eines jeden erforderlichen Elements zu bezahlen. Diese Kosten summieren sich schnell, und Unternehmen geben somit rund 520.000 $ pro Jahr für das Erstellen und Pflegen von Data Pipelines durch Datentechniker aus.

Im Gegensatz dazu bedeutet der Kauf von Konnektoren und anderen Data Pipeline-Komponenten von einem Anbieter wie Fivetran, dass Ihre Ausgaben für menschliche Ressourcen wie Datentechniker und Entwickler sinken. Ebenso sinkt deren Arbeitsaufwand, sodass sie mehr Zeit für relevantere Aufgaben haben.

Vermeiden von Datenengpässen

Das Erstellen von Data Connectors könnte gut für Einzelpersonen oder kleine Unternehmen funktionieren, die mit sehr wenigen Datenquellen arbeiten. Für wachsende Unternehmen oder Konzerne, bei denen die Anzahl der Quellen und die Größe der Daten schnell skaliert werden, ist dies jedoch keine sinnvolle Lösung.

Wenn sich Entwickler und Datenteams diesen steigenden Anforderungen gegenübersehen und ständig neue Konnektoren hinzufügen und alte Konnektoren anpassen oder von Grund auf neu erstellen müssen, entstehen dadurch Engpässe.

Wenn hingegen Konnektoren gekauft werden, werden solche Prozesse beschleunigt. Sie müssen eine neue Quelle hinzufügen? Verwenden Sie einfach einen vorgefertigten Konnektor, um sie schnell in Ihre Pipeline einzufügen, oder nutzen Sie einen benutzerdefinierten Konnektor,

der das Laden und die Transformation der Daten für Sie übernimmt.

‍

‍

Wenn Sie automatisierte Konnektoren kaufen, können Sie sie einfach skalieren und so an all Ihre datenbezogenen Anforderungen anpassen. Analysten erhalten Zugriff auf die aktuellsten Daten, ohne damit Datentechniker zu überfordern.

Zugriff auf zusätzliche Funktionen

Wenn für eine Änderung an Ihrem Datenkonnektor nicht extra hunderte Zeilen Code geschrieben werden müssen, können sich Ihre Datentechniker darauf konzentrieren, Ihre Konnektoren zu optimieren, um sie noch effizienter zu gestalten.

Der Kauf automatisierter Konnektoren über eine Plattform wie Fivetran bietet Ihnen Zugriff auf eine Vielzahl zusätzlicher Funktionen, einschließlich robuster Sicherheit und Compliance, vorgefertigter Transformationen und der Möglichkeit des parallelen Ladens für eine schnellere Datenverarbeitung.

Fazit

Automatisierte Data Connectors, die in vollständig verwalteten ELT-Pipelines zum Einsatz kommen, sind von zentraler Bedeutung für einen Modern Data Stack mit dem Ziel, schnell umfassende Daten bereitzustellen und akkurate Analysen zu ermöglichen.

Diese Konnektoren und Plattformen wie Fivetran, die sie anbieten, beheben die meisten Probleme, die beim manuellen Erstellen von Data Pipelines anfallen, helfen Unternehmen dabei, Geld einzusparen, bieten schnellen Zugriff auf Daten und vereinfachen die Verwaltung von Data Pipelines.

[CTA_MODULE]