Automatiza la gestión de tu data lake con Fivetran

Nuestro enfoque de mover y alojar datos en un data lake ofrece a los clientes funcionalidades de gestión de datos similares a las de los data warehouses. La conversión automatizada a los formatos de tabla Apache Iceberg y Delta Lake transforma los data lakes de repositorios caóticos en almacenes de datos estructurados y bien gestionados. Esta transformación optimiza las operaciones, mejora el gobierno y aumenta la usabilidad, lo que representa un paso significativo en el. aprovechamiento efectivo de los datos para insights de negocio e innovación.

Los data lakes separan explícitamente la capa de almacenamiento del data warehouse en un formato neutro de proveedor en almacenamiento de objetos, y crean una capa de almacenamiento universal para que solo muevas tus datos una vez y puedas consultarlos cuando sea necesario desde los servicios de mejor categoría para tu carga de trabajo. Esto significa que múltiples motores de ejecución especializados pueden interactuar con el mismo data lake, mediados por un catálogo que ofrece transacciones y permisos granulares TCO.

¡Claro! Los clientes con el Business Critical tienen la opción tienen la opción de conectarse a su lago de datos mediante una ruta de red privada que mantiene el tráfico fuera de la internet pública. El almacenamiento de objetos en cada nube se accede a través de puntos de conexión públicos, pero el enrutamiento del tráfico está asegurado en la red troncal interna del proveedor de nube. Las políticas de los buckets restringen el acceso únicamente a la región de procesamiento correcta. Ofrecemos soporte para los mecanismos de red privada predeterminados de cada uno de los principales proveedores de nube: AWS Gateway Endpoints, Azure Virtual Network Service Endpoints y Private Google Access de Google Cloud. Conoce más sobre redes privadas para lagos de datos.

¡Así es! El servicio de Data Lake administrado de Fivetran incluye de forma predeterminada un catálogo REST de Iceberg autohospedado (Apache Polaris) para garantizar una experiencia integral y funcional desde el primer momento al gestionar tablas de Apache Iceberg, las cuales requieren un catálogo para administrar las transacciones ACID. También tienes la opción de integrar tu propio catálogo externo, como AWS Glue, Databricks Unity Catalog, BigQuery Metastore o OneLake, y utilizar el catálogo REST de Iceberg como respaldo o para escenarios avanzados de gestión de metadatos. Conoce más sobre el soporte de catálogos para data lakes.

El Servicio administrado de lago de datos de Fivetran convierte los datos de origen en archivos Parquet en la canalización y los almacena en tablas designadas en su lago de datos. Se recomienda usar los metadatos de la tabla para leer o consultar sus datos, los cuales están disponibles en los estándares de tabla de Iceberg y Delta Lake en su catálogo. Aprenda a consultar datos de su lago de datos.