SpotOn ofrece informes 5 veces más rápidos con Fivetran Transformations para dbt Core™

SpotOn es una de las empresas de software y pagos de más rápido crecimiento, con una tecnología integral basada en la nube para empresas de todo tipo y tamaño. Con la adquisición de Appetize, la base de clientes de SpotOn creció hasta incluir recintos empresariales como el Madison Square Garden,  el Fenway Park y el MetLife Stadium, todos con necesidades únicas y datos complejos.

El equipo de producto de SpotOn necesitaba una forma de convertir de manera eficiente los datos de transacciones de clientes que capturaba en informes rápidos, fiables e informativos para sus clientes. Al mismo tiempo, su equipo de datos interno necesitaba una forma de aprovechar los datos para optimizar las operaciones internas.

Antes de Fivetran

A medida que la empresa crecía, convertir los datos en informes para los clientes y las partes interesadas internas se volvió más complejo: recopilaban datos de clientes en 30 bases de datos MySQL sin conectar. Al mismo tiempo, el equipo de ingeniería utilizaba varias bases de datos para capturar métricas de crecimiento internas, pero carecía de un repositorio central donde generar informes de forma más eficiente. 

Cuando disponían de los datos necesarios, estos se transformaban mediante procedimientos almacenados en Snowflake. Pero, a medida que crecían sus datos, también lo hacían sus modelos y, con el tiempo, había más de 2000 líneas de código detrás de una sola tabla. Para complicar aún más las cosas, cualquier cambio realizado no se supervisaba ni se registraba automáticamente sin control de versiones, lo que hacía que el control de calidad consumiera mucho tiempo: hasta 15 horas a la semana. Y escalar requería escribir código desde cero para cada nuevo caso de uso, ya que no tenían un enfoque modular del modelado de datos.

En última instancia, esto le costaba a SpotOn dinero y tiempo: ejecutaban modelos pesados en Snowflake, acumulando así costes, y dedicaban recursos a procesos de modelado básicos. Era un proceso que consumía muchos recursos y que ofrecía resultados adecuados, pero subóptimos.

«Con nuestra solución anterior, teníamos que elegir entre tiempos de carga largos o datos desactualizados. Ninguna de estas opciones era satisfactoria, así que necesitábamos una nueva solución. Como equipo de desarrollo más pequeño, necesitábamos una solución que no requiriera un mantenimiento de datos a tiempo completo. Necesitábamos una solución que pudiera configurarse en semanas, no en meses».
— Tom Gilbertson, Gerente de Producto, Datos y Analítica

Los impactos negativos en el negocio eran notables:

• Incapacidad de escalar con rapidez para satisfacer las crecientes necesidades de los clientes
• Lógica compleja que era lenta y costosa
• Procesos que consumían muchos recursos para proporcionar a los clientes los informes necesarios

Impulsar la escalabilidad y la calidad con Fivetran y dbt

Estos desafíos inspiraron a SpotOn a buscar una nueva solución. Y fue entonces cuando recurrieron a Fivetran, Snowflake y dbt. En última instancia, fue una elección fácil: querían los mejores productos de su categoría y sabían que la combinación de estas soluciones tendría un impacto desproporcionado sin un coste significativamente mayor que el de sus competidores.

Fivetran mueve todos los datos de clientes de sus clientes sin problemas desde 30 bases de datos MySQL dispares hacia Snowflake. Esto proporciona una base de datos segura que luego puede transformarse a escala para satisfacer sus diversas necesidades analíticas, creando dos casos de uso diferenciados habilitados por tecnologías de dbt independientes: los informes para clientes y el crecimiento basado en datos.

Informes para clientes rápidos y fiables:

Con Fivetran Transformations para dbt Core, SpotOn automatiza informes más rápidos y fiables para sus clientes, al tiempo que ahorra tiempo y costes. 

dbt Core modulariza las 2000 líneas de código de transformación, lo que hace que los modelos de datos sean más legibles, más fáciles de depurar y escalables con plantillas jinja. Al integrar su proyecto de dbt en Fivetran, Fivetran Transformations para dbt Core puede orquestar esas ejecuciones de modelos automáticamente tras la carga del conector de Fivetran, sin necesidad de scripts personalizados, herramientas de terceros ni DevOps. 

SpotOn ahora gestiona y automatiza todo su proceso ELT a escala desde una sola plataforma. Los informes para los clientes ahora se generan más rápido, lo que reduce el tiempo de desarrollo en varias semanas. Los clientes ahora tienen acceso permanente y fiable a sus datos, lo que garantiza que no se pierdan oportunidades ni optimizaciones, ampliando la amplia cartera de clientes satisfechos y basados en datos de SpotOn.

«Al integrar Fivetran y dbt (con Fivetran Transformations para dbt Core), Fivetran se convierte no solo en la herramienta ELT, sino también en la herramienta de orquestación, lo que es excelente para la fiabilidad, la escalabilidad y el tiempo de desarrollo».
— Tom Gilbertson, Gerente de Producto, Datos y Analítica

Crecimiento colaborativo y basado en datos:

No solo los clientes cosechan los beneficios del stack de datos modernizado, sino también el equipo interno. El equipo de ingeniería de datos de 2 personas de SpotOn da soporte a su equipo de más de 10 analistas de datos utilizando dbt Cloud para convertir grandes volúmenes de datos de múltiples bases de datos —movidos por Fivetran— en potentes análisis internos y BI. La interfaz de usuario basada en la web permite que todos los miembros del equipo colaboren, independientemente de su nivel de comodidad con un IDE o una línea de comandos. dbt Cloud también proporciona programación y alertas integradas, lo que abstrae la responsabilidad manual del equipo.

Esto garantiza que el equipo pueda seguir impulsando el crecimiento basado en datos sin tener que aumentar su plantilla ni sacrificar la integridad de los datos. Al utilizar tecnologías basadas en la nube, todo el equipo puede participar en el análisis, acelerando el tiempo hasta la obtención de información y reduciendo el tiempo de desarrollo en 5 veces.

Y saben que la información que proporcionan es precisa, gracias a Metaplane. Metaplane supervisa la canalización y avisa si hay problemas en las bases de datos de las aplicaciones desde las que Fivetran extrae los datos. 

• Con Fivetran, dbt y Snowflake, el tiempo de desarrollo se reduce en semanas
• Fivetran mueve datos desde más de 30 bases de datos a un almacén de datos en la nube centralizado, Snowflake
• Escriben modelos de datos eficientes, escalables y gobernados con dbt Core
• Fivetran Transformations para dbt Core orquesta y automatiza sus transformaciones de datos, sin necesidad de herramientas de terceros
• dbt Cloud ofrece al reducido equipo de ingeniería de 2 personas una forma de producir de manera colaborativa análisis internos y BI 5 veces más rápido

«dbt nos permite controlar las versiones de nuestros procedimientos almacenados, algo que antes no existía. Podemos adoptar un enfoque más propio de la ingeniería de software para la ingeniería de datos», afirmó Gilbertson. «Fivetran nos ofrece una ventanilla única y centralizada para toda nuestra canalización ELT, sin necesidad de herramientas de terceros. Eso hizo que nuestros procesos fueran más eficientes y redujo la supervisión».

[CTA_MODULE]

Resultados

En última instancia, Fivetran Transformations para dbt Core redujo el tiempo de desarrollo —y de operaciones de desarrollo— en unas semanas, a la vez que aportaba automatización. SpotOn también ha obtenido beneficios adicionales:

• Capacidad de escalar, con un equipo reducido, a medida que crecen sus clientes y sus necesidades de datos
• El control de versiones automatizado, los gráficos de linaje de datos y la documentación garantizan la integridad de los datos
• La carga sincronizada del conector y las ejecuciones de modelos redujeron los costes computacionales 
• Reducción de la complejidad del stack tecnológico_‍

_{*dbt Core es una marca comercial de dbt Labs, Inc. Todos los derechos correspondientes están reservados a dbt Labs, Inc. Fivetran Transformations no es un producto ni un servicio de dbt Labs, Inc., ni cuenta con su respaldo.}