YipitData verwandelt eine Flut von Finanzmarktdaten in Erkenntnisse

YipitData ist die vertrauenswürdige Quelle für Erkenntnisse auf Basis alternativer Daten. Die Produktteams des Unternehmens analysieren täglich Milliarden von Datenpunkten, um die granularen Erkenntnisse zu liefern, die die erfolgreiche Entscheidungsfindung von Hunderten von Investmentfonds und hochinnovativen Unternehmen unterstützen. Als YipitData rasant zu wachsen begann, hatte das Unternehmen Mühe, seine Analyseaktivitäten zu skalieren, die auf Dutzenden von Amazon-Redshift-Clustern liefen. Zu diesem Zeitpunkt migrierte YipitData auf die Databricks Lakehouse Platform, um eine Self-Service-Datenplattform für seine Produktanalystinnen und -analysten zu schaffen. Dieser Ansatz funktionierte so gut, dass das Unternehmen begann, operative Teams wie Revenue Operations und Finance an Databricks anzubinden. Für diese Zielgruppe nutzt YipitData Fivetran, um Daten aus 20 SaaS-Plattformen in Databricks zu übernehmen, damit operative Teams auf Rohdaten zugreifen können, ohne Engineers einzubinden. Während YipitData weiter wächst, wird es zu einer datenzentrierten Organisation, indem es allen ermöglicht, mit Databricks und Fivetran Fragen anhand von Daten zu beantworten.

Die Wartung von Datenclustern bremst die Analytik

Entscheiderinnen und Entscheider, die unter Druck stehen, verlassen sich auf die Produkte von YipitData, um die richtigen Entscheidungen zu treffen. Deshalb muss das Unternehmen seinem Markt stets einen Schritt voraus sein. YipitData möchte wissen, welche Informationen seine Kundinnen und Kunden benötigen, noch bevor sie diese brauchen – was nur möglich ist, indem analysiert wird, wie sie in der Vergangenheit mit Datenprodukten interagiert haben. 

„Unser Kerngeschäft besteht darin, Investmentfonds und Unternehmen äußerst wertvolle Datenprodukte zu verkaufen, die ihnen helfen, bessere Geschäftsentscheidungen zu treffen“, sagt Bobby Muldoon, Co-Head of Data Engineering bei YipitData. „Wir pflegen enge Beziehungen zu unseren Kunden und möchten ihre zentralen Fragen verstehen, welche Herausforderungen sie haben und welche Arten von Produkten ihnen am wichtigsten sind. Ein Großteil dieser Informationen wird in unserer Salesforce-Lösung erfasst, daher müssen wir sie auf eine Analyseplattform übertragen, damit unser Revenue-Operations-Team sie analysieren und darüber berichten kann.“  

Vor der Einführung von Databricks drehten sich die Analyseaktivitäten von YipitData um Dutzende von Amazon-Redshift-Clustern. Jedes Team im Unternehmen betrieb seine eigenen Cluster, schrieb Code in Airflow und nutzte ein selbst entwickeltes Framework zur Verwaltung von SQL-Abfragen. Mit dem Wachstum des Unternehmens wurde diese Konstellation umständlich – insbesondere, wenn YipitData gemeinsame Datensätze teamübergreifend teilen musste. 

„Es war wirklich schwierig, unser Geschäft zu skalieren, wenn die Redshift-Cluster auf die einzelnen Produktteams beschränkt waren“, erinnert sich Muldoon. „Als wir begannen, E-Mail- und Kreditkartendaten von Partnern zu übernehmen, mussten wir diese Daten plötzlich mit jedem Team teilen, was bedeutete, sie in rund 50 Redshift-Cluster zu kopieren. Da wurde uns klar, dass wir einen richtigen Data Lake brauchten.“

Der direkte Zugang von Stakeholdern zu Rohdaten führt zu besseren Entscheidungen

YipitData evaluierte mehrere Lösungen, bevor es sich für die Databricks Lakehouse Platform als Grundlage seines neuen Data-Stacks entschied. „Wir wussten, dass wir kein Data Warehouse wollten, weil dessen Wartung ein Team von versierten Data Engineers erfordert hätte“, sagt Muldoon. „Wir waren von der Idee eines Lakehouse überzeugt, weil wir Rohdaten mit möglichst geringer Reibung und möglichst wenig Beteiligung des Engineerings in die Hände unserer Business-User bringen mussten.“

YipitData entschied sich, seine Databricks-Lösung mit Fivetran zu unterstützen – einer Lösung, die das Unternehmen zuvor genutzt hatte, um große Mengen an Salesforce-Rohdaten zur Analyse und Berichterstattung durch sein Revenue-Operations-Team nach Redshift zu bewegen. Kurz nachdem YipitData zu Databricks gewechselt war, wuchs das Unternehmen sprunghaft von weniger als 100 auf mehr als 500 Mitarbeitende. Während YipitData seinem Technologie-Portfolio weiterhin neue SaaS-Lösungen hinzufügt, nutzt das Unternehmen Fivetran-Konnektoren, um die Datenaufnahme zu vereinfachen. Zur Liste der integrierten Lösungen gehören Salesforce, Marketo, NetSuite und Greenhouse. 

„Wir übernehmen mit Fivetran mehr als 20 SaaS-Plattformen sowie zahlreiche interne Anwendungsdatenbanken“, sagt Muldoon. „Das macht das Leben für unsere operativen Teams, die internes Reporting betreiben, deutlich einfacher. Immer wenn wir einen konsistenten Datensatz übernehmen müssen, der kein individuelles ETL erfordert, ist Fivetran unsere Lösung.“

Jedes operative Team bei YipitData muss Analysen und Berichte erstellen. Das Unternehmen nutzt Fivetran-Konnektoren nicht nur, um die Daten der Teams in Databricks einzuspeisen, sondern gibt Stakeholdern auch Zugriff auf Rohdaten in Databricks, damit sie ihre eigenen Analysen durchführen können. 

„Wir sind überzeugt, dass unsere Geschäftsentscheidungen vollständig von den Business-Usern getroffen werden sollten“, erklärt Muldoon. „Deshalb legen wir Rohdaten in ihre Hände, ohne dass Engineers eingebunden werden müssen. Unser Finance-Team schreibt in Databricks SQL-Abfragen und PySpark, um seine Daten zu analysieren. Fivetran macht es einfach, an diese Daten zu gelangen, und Databricks macht es einfach, sie zu analysieren.“ 

Durch die Integration von NetSuite mit Databricks half YipitData seinem Finance-Team, Einschränkungen beim Reporting zu überwinden. Finance erhält jetzt bessere Informationen mit weniger manuellem Aufwand. 

„Vor Databricks musste ich meine Berichte, wenn sie eine bestimmte Länge überschritten, in Teilen herunterladen und die Daten manipulieren, um den benötigten Bericht zu erstellen“, erinnert sich Emily Frey, Senior Director of Finance bei YipitData. „Heute verwende ich einfache SQL-Befehle, um auf Basis der Daten, die über Fivetran in Databricks einfließen, meine eigenen Tabellen zu erstellen. Das ist als wiederkehrender Job eingerichtet, der mir sechs bis acht Stunden pro Monat spart. Außerdem haben wir unser Cash-Model-Reporting mit Databricks automatisiert, wodurch wir Zugriff auf mehr Kennzahlen erhalten und vier bis fünf Personenstunden pro Woche sparen.“ 

[CTA_MODULE]

Self-Service-Daten helfen Stakeholdern, Kundenbedürfnisse zu erfüllen

Bei YipitData sind Self-Service-Daten heute Realität. Produkt- und operative Teams können ihre eigenen Fragen zu ihren Daten beantworten. Wenn sie ein Datenprodukt oder einen Reporting-Workflow erstellen müssen, können sie den gesamten ELT-Prozess steuern. 

„Selbst unsere weniger technisch versierten Nutzerinnen und Nutzer werden darin geschult, in Databricks Tabellen abzuleiten, um nicht ständig dieselben Abfragen erneut auszuführen, und sie nutzen Multitask-Jobs, um komplexe Workflows zu orchestrieren“, sagt Muldoon. „Für diese Teams war das eine bestärkende Erfahrung, und sie waren damit sehr erfolgreich.“

Mit Databricks arbeitet die Finanzabteilung von YipitData deutlich produktiver, während sie Zehntausende von Datenzeilen in Tabellenkalkulationen verarbeitet. Statt häufige Abstürze von Tabellen zu ertragen und an der Integrität der Daten zu zweifeln, erstellt das Team Berichte heute in Minuten mithilfe von Abfragen. 

„Das Befüllen von Google Sheets mit riesigen Datensätzen war früher ein langsamer, unzuverlässiger Prozess“, sagt Frey. „Heute kann ich in Databricks einen Job ausführen, der mein Google Sheet in etwa drei Minuten automatisch aktualisiert – ganz ohne Abstürze. Das spart mir bei jedem Monatsabschluss rund drei Stunden.“

Bei der Reise von YipitData mit Databricks und Fivetran ging es darum, neue Möglichkeiten zu erschließen, statt einfach nur Kosten zu senken. „Ich kann nicht behaupten, dass wir bei der Integration unserer SaaS-Plattformen mit Databricks Geld sparen, denn wenn wir dafür ein Team von 10 Engineers gebraucht hätten, hätten wir uns die Mühe gar nicht gemacht“, sagt Muldoon. „Wir hätten dafür niemals eine Budgetfreigabe erhalten.“  

Die Business-Teams von YipitData können jetzt zusammenarbeiten und iterieren, während sie neue Arten von Berichten erstellen. Nachdem sie mit Databricks und Fivetran ihre größten technischen Hürden beseitigt haben, können die Teams ihr Geschäftswissen auf die schwierigsten Datenherausforderungen anwenden und die Erkenntnisse gewinnen, die Kunden benötigen. „Wir wissen, dass unsere Business-User nicht die besten Datenpipelines der Welt bauen werden, aber das ist für ihren Anwendungsfall auch nicht entscheidend“, erklärt Muldoon. „Wichtig ist, dass sie die volle Verantwortung für die Qualität ihres Reportings übernehmen können. Sie sind diejenigen, die erkennen, wenn Rohwerte nicht den Erwartungen entsprechen, und wissen, was in der jeweiligen Situation zu tun ist. Das erfordert ein kritisches geschäftliches Urteilsvermögen, das nicht an Engineers ohne Fachwissen in der Domäne abgegeben werden sollte. Mit Databricks können sie auf die roheste Form der Daten zugreifen und ihre Analysen und Berichte schnell iterieren.“

Mit dem Wachstum von YipitData wird das Unternehmen seinen Business-Usern weiterhin Zugriff auf stetig wachsende Mengen an Rohdaten geben. Muldoon sieht darin einen Schlüssel zum Erfolg von YipitData. „Ich glaube nicht, dass wir dieses Geschäft ohne Databricks hätten aufbauen können“, resümiert er. „Auf Snowflake, Amazon Web Services oder Amazon EMR hätten wir dieses Maß an Self-Service nicht ermöglichen können. Mit Databricks und Fivetran haben wir für nahezu jedes Team im Unternehmen geschäftlichen Mehrwert erschlossen.“