📊 Gobernanza de Datos

📊 ¿Qué es el Pipeline ETL?

ETL = Extract, Transform, Load (Extraer, Transformar, Cargar). Es el proceso que mueve datos desde el origen (kpi_dashboard) hacia el destino (data_warehouse). Durante este proceso:

• ✅ Valida que los datos sean correctos (email válido, nombre no vacío, etc.)
• ✅ Rechaza los datos que no pasan la validación y los envía a la Auditoría
• ✅ Repara automáticamente los datos con el Reparador

🔧 ¿Qué es el Reparador?

El Reparador es un proceso que intenta corregir automáticamente los datos rechazados. Por ejemplo:

• 🔹 Si un cliente no tiene email, le asigna uno automático: cliente123@reparado.com
• 🔹 Si un cliente no tiene nombre, le asigna: Cliente 123
• 🔹 Si no puede repararlo, lo marca para Revisión Manual

📚 ¿Qué es el Catálogo de Datos?

El Catálogo de Datos es un inventario completo de todas las tablas, columnas y metadatos del Data Warehouse. Permite:

• 🔹 Descubrir qué datos existen en el sistema
• 🔹 Entender el significado de cada columna (nombre de negocio)
• 🔹 Clasificar la confidencialidad de los datos (Público, Interno, Confidencial, Restringido)
• 🔹 Rastrear el linaje de los datos (de dónde vienen y a dónde van)

🏢 ¿Dónde se usa en la vida real?

🔑 ¿Cómo funciona este proyecto?

• 1. ORIGEN → Base de datos kpi_dashboard (datos crudos)
• 2. PIPELINE → Extrae, valida y carga en el Data Warehouse
• 3. DESTINO → Data Warehouse con tablas dw_*
• 4. AUDITORÍA → Registra todos los datos rechazados
• 5. REPARADOR → Intenta corregir automáticamente los datos
• 6. CATÁLOGO → Inventario de todas las tablas y metadatos
• 7. CALIDAD → Métrica de confianza por tabla