Autodesk construye una cultura de datos de autoservicio para más de 13,000 empleados

Autodesk es una empresa Fortune 1000 que desarrolla productos de software para diversas industrias a nivel global. Con más de 100 productos que abarcan arquitectura, ingeniería y construcción, diseño de productos y manufactura, y medios y entretenimiento, es probable que hayas estado en un lugar o usado un producto cuyo núcleo es software de Autodesk, desde rascacielos urbanos hasta efectos visuales en películas.

Una cartera de software tan amplia genera grandes cantidades de datos — de hecho, petabytes de datos. Para gestionar su Analytics Data Platform, la empresa confía en Mark Kidwell, Arquitecto Jefe de Datos de Data Platforms and Services.

Las responsabilidades clave de Mark son:

• Modernizar y optimizar las plataformas de datos con herramientas de primer nivel para mejorar el rendimiento y gestionar los costos
• Acelerar la entrega de datos a los equipos que los necesitan para analytics, incluyendo marketing, ventas, ingresos y producto

Datos como servicio con pipelines confiables

La Analytics Data Platform de Autodesk es el centro de referencia para que los equipos comprendan el uso crítico de los productos — desde suscripciones hasta el comportamiento del cliente y la salud del negocio. Sin embargo, con una arquitectura de data lake, acceder a los datos para analytics era complicado y poco confiable.

“Ni siquiera podíamos aproximarnos a habilitar el autoservicio con ninguna de nuestras herramientas y procesos anteriores. Teníamos un equipo central de ingesta que únicamente recibía solicitudes de ingesta: eran el único equipo que podía hacer ese trabajo.”
- Mark Kidwell, Arquitecto Jefe de Datos de Data Platforms and Services

Para habilitar el autoservicio de datos para más de 13,000 empleados en toda la empresa, Mark sabía que los conjuntos de datos analíticos debían alojarse en un data warehouse para facilitar las consultas. Mark recurrió a herramientas de datos modernas, incluyendo Fivetran, Snowflake y dbt, para renovar la ingesta, transformación y orquestación.

“Es tan simple como elegir entre un pipeline no gestionado y de bajo nivel que falla, o un pipeline [como Fivetran] que maneja schema evolution, back-fill y otros casos que sabemos que no podemos soportar”, agrega Kidwell.

Esta transición hacia un stack de datos moderno fue un esfuerzo empresarial de gran escala que involucró múltiples unidades de negocio, incluyendo dos de las cuatro adquisiciones recientes de productos de construcción: BuildingConnected y BIM 360. El equipo de la Analytics Data Platform migró todos sus datos críticos para el negocio a Snowflake.

La fase inicial implicó reemplazar solo un puñado de pipelines. Tras migrarlos con éxito y demostrar el valor de funciones como el manejo de schema drift y las actualizaciones incrementales, el equipo pasó a trabajar con sus fuentes de datos más críticas.

“Migramos nuestro pipeline de Salesforce, nuestro producto de ingesta más crítico, a Fivetran. Con el tiempo hemos desbloqueado más usuarios y más casos de uso, por lo que nuestro uso ha crecido considerablemente a lo largo de los años.”
- Mark Kidwell, Arquitecto Jefe de Datos de Data Platforms and Services

El resultado es una solución confiable de movimiento de datos y warehousing que, en última instancia, ahorra tiempo y dinero al negocio. “Simplemente funciona”, dice Mark.

[CTA_MODULE]

Capacidades de nivel empresarial para cubrir los requerimientos de datos complejos y de alta seguridad de Autodesk

El equipo de la Analytics Data Platform incorporó de forma rápida y segura a equipos y usuarios en Fivetran para que pudieran agregar sus propias conexiones. Fivetran ofrece a los usuarios acceso a los pipelines y destinos que necesitan para su trabajo. Las funciones de gobierno de datos de nivel empresarial — como los permisos de equipos y conectores, los roles personalizados y el acceso por equipo, y el single sign-on — permitieron al equipo de Autodesk garantizar la seguridad de la plataforma de forma escalable para su gran base de usuarios.

“Hemos migrado con éxito a casi 60 equipos de datos que están ingiriendo, consumiendo y a veces publicando sus propios productos de datos en la Analytics Data Platform. Más de la mitad de esos equipos trabaja dentro de Fivetran, asignados a distintos destinos y distintos roles. Este enfoque de autoservicio significa que nosotros establecemos las reglas de la plataforma, y los equipos pueden acceder a sus datos sin tener que acudir a nosotros.”
- Mark Kidwell, Arquitecto Jefe de Datos de Data Platforms and Services

Modernización del data lake

Con la base para el autoservicio establecida, Mark y su equipo se centran en hacer la plataforma aún más fácil de usar para los clientes internos y en explorar casos de uso adicionales como:

• Metadata API: Autodesk seleccionó recientemente Atlan para su catálogo de datos y planea integrarlo con Fivetran este trimestre para habilitar el linaje de datos.
• REST API: Para convertirse en una organización capaz de construir servicios y productos bajo un enfoque API first, la API de Fivetran será clave en sus esfuerzos.

[CTA_MODULE]