Snowflake construye un data stack de clase mundial con Fivetran

Fundada en 2012, Snowflake se ha vuelto omnipresente en el creciente ecosistema del modern data stack, entregando acceso a la Data Cloud a más de 6,000 clientes en todo el mundo. El propio crecimiento de Snowflake ha estado impulsado por una iteración rápida y buenas prácticas de datos de clase mundial, incluyendo el desarrollo de un poderoso data stack interno que da a cada empleado de la organización acceso a los datos.

En el corazón de este crecimiento meteórico está el área de marketing intelligence de Snowflake, un equipo con una visión audaz: predecir el ROI en tiempo real para optimizar dinámicamente todos los programas de marketing de Snowflake, romper con las prácticas tradicionales de analítica de marketing B2B y crear enormes eficiencias.

“Para la mayoría de las empresas, el 40 % de los presupuestos de marketing se desperdicia debido a la ineficacia de las campañas. La medición y la visibilidad son críticas para optimizar el marketing.”
— Lourenço Mello, Product Marketing Lead - Solutions en Snowflake

El equipo de marketing intelligence de Snowflake vio una oportunidad para centralizar sus datos en 'Snowhouse', la instancia de Snowflake de la organización, con el fin de impulsar modelos de segmentación, motores de recomendación y, en última instancia, construir una vista de 360 grados de los clientes.

Cómo derribar los silos de datos

Fivetran es una parte crítica del modern data stack de Snowflake, que ha desplegado más de 900 conexiones que mueven más de 400 millones de filas activas mensuales, tanto a través de conectores de analítica de marketing (Google, Bing, Facebook Ads) como de herramientas SaaS core (Marketo, Salesforce, Jira).

Cómo habilitar la analítica con modelos de datos de Fivetran compatibles con dbt Core™

Snowflake solía mantener su lógica de modelado y transformación de datos dentro de una herramienta de BI separada, pero este enfoque tenía algunas desventajas. Cada vez que el negocio necesitaba ejecutar modelos fuera de la herramienta o realizar analítica ad-hoc, los analistas necesitaban recrear sus modelos desde cero. Este enfoque consumía mucho tiempo y era propenso a errores.

La implementación de dbt Core™ habilitó una experiencia mucho más flexible para los usuarios finales dentro del negocio. El equipo vio un mejor desempeño general, ya que la mayoría de los cálculos intensivos en cómputo se realizaban en una etapa más temprana del proceso.

“Usamos Google, Facebook y LinkedIn para publicar anuncios digitales e ingerimos estos datos con Fivetran”, dice Carl-Johan Wehtje. “Los modelos de datos de Fivetran limpian automáticamente nuestras fuentes de datos crudos y los entregan en un solo modelo. Inmediatamente obtenemos un conjunto de datos limpio y normalizado para reportes, lo que nos permite enfocarnos en cálculos más complejos y en trabajo de joins. Esto significa que podemos exponer estos datos a nuestros usuarios finales más rápido, para que puedan empezar a obtener insights de ellos.”

Snowflake también usa Airflow para gestionar los jobs de dbt™ y definir con qué frecuencia quieren actualizar sus modelos y tablas, dando a los analistas la capacidad de equilibrar los tiempos de refresco de datos con consideraciones de desempeño y costo.

Cómo establecer una capa de consumo de datos

La 'capa de consumo' es donde el equipo de analítica de marketing de Snowflake habilita la colaboración e invita a los equipos del negocio a comenzar sus interacciones con los datos.

Con un framework sólido de ingesta y transformación, el equipo de analítica de marketing puede enfocarse en generar valor para la organización con modelos avanzados de data science y machine learning, attribution scoring, forecasting y segmentación. Los resultados de estos modelos predictivos se envían a plataformas de consumo, incluyendo Snowsight, Tableau, ThoughtSpot y otras herramientas:

• Snowsight se usa para análisis de datos rápido y simple. Es un excelente punto de partida cuando los usuarios buscan explorar datos y descubrir tendencias y patrones simples en grandes datasets. “Es un excelente punto de partida cuando se desarrollan reportes más avanzados porque está directamente en SQL”, dice Wehtje. “Puedo probar cosas muy rápido, iterar y evolucionar a partir de eso.”
• Tableau es la herramienta preferida para dashboards y reportes críticos del negocio con una cadencia más regular. Los analistas pueden compartir métricas con una audiencia de negocio más amplia que tal vez no tenga el mismo marco de referencia. “Estos dashboards facilitan mucho que los líderes del negocio vean el desempeño trimestre contra trimestre o año contra año”, dice Wehtje. “Los dashboards son una excelente forma de enmarcar una historia clara, lo cual es aún más importante cuando se comparte con audiencias más amplias, donde no todos pueden tener el contexto completo o el conocimiento de cuáles son las métricas clave.”
• ThoughtSpot ofrece un entorno integral de autoservicio que permite reportes más individualizados. También brinda una forma intuitiva para que los citizen analysts hagan drill-down y exploren múltiples capas en los datos. Y a Wehtje no le preocupa crear múltiples fuentes de verdad. “Como hemos construido modelos claros, esencialmente usamos el mismo modelo independientemente de si es la analítica ad-hoc, los dashboards de Tableau o los dashboards de ThoughtSpot. Todos siguen mirando los mismos datos y obteniendo los mismos resultados y outputs.”

[CTA_MODULE]

El último componente del data stack de Snowflake es su solución de data lineage y catalogación. Conforme los volúmenes de datos aumentan, también lo hace la necesidad de claridad en data lineage, catalogación y gobernanza: entender de dónde se originan los datos y qué tan frescos son. “Como equipo de datos, necesitamos transparencia sobre dónde se están extrayendo los datos”, dice Wehtje. “Aunque considero que la documentación es enormemente importante, también puede consumir muchísimo tiempo.” Snowflake ha atendido estas necesidades con Alation, una herramienta que toma los metadatos de Snowflake para delinear automáticamente el data lineage y el contenido de diferentes tablas.

“Mirando hacia adelante, esto es realmente apenas el principio de lo que estamos haciendo”, dice Wehtje. “Estamos trabajando en muchas otras cosas, como crear formas aún mejores para que nuestros clientes internos interactúen con los datos. Estamos muy emocionados de compartirlas con el negocio pronto.”