Por Andrew Tan
Dashboards que mienten
Muchas empresas gastan más de seis cifras en herramientas de linaje de datos. Sus demostraciones son impresionantes: visualizaciones extensas que muestran cada tabla, pipeline y dependencia a lo largo de un almacén de datos. Los colores indican frescura. Las flechas muestran el flujo de datos. Parece la sala de control de una planta nuclear.
Todo esto es genial y elegante, pero una de las preguntas sin respuesta es qué sucede cuando la tabla X tiene datos incorrectos.
Puedes hacer clic en los diagramas, hacer zoom y desplazarte, localizar la tabla, inspeccionar los consumidores y transformaciones aguas abajo a los que alimentó. Y luego puedes decir que doce dashboards usan 'dirección del cliente'.
La verdadera pregunta, sin embargo, es qué procesos de negocio se rompen. ¿Se detiene el envío? ¿Las facturas van al lugar equivocado? ¿Fallan los informes de cumplimiento? Ya te haces una idea.
El dashboard en cambio sabe que los datos fluyeron de A a B, pero no tenía idea de para qué era realmente B.
Teatro del linaje
Esto es lo que llamo teatro del linaje: la práctica de construir diagramas de flujo de datos impresionantes que satisfacen listas de verificación de cumplimiento y demostraciones de proveedores, pero que no ayudan realmente cuando las cosas fallan.
Los proveedores de herramientas han optimizado para lo incorrecto. Están vendiendo visualizaciones. Lo que los equipos de datos necesitan es contexto: la capacidad de rastrear un problema de calidad de datos hasta su impacto en el negocio en menos de 60 segundos.
Puedes ver este patrón en muchas empresas. Implementan herramientas de linaje con gran fanfarria. Los diagramas se exhiben en las televisiones de la oficina (genial), y el equipo de gobernanza de datos escribe documentación sobre la documentación. Luego, seis meses después, un sistema aguas arriba cambia un nombre de columna y el diagrama de linaje se ilumina como un árbol de Navidad mientras el impacto real en el negocio sigue siendo un misterio.
El equipo termina haciendo lo que habrían hecho sin la herramienta: revisando Slack, consultando con las partes interesadas, rastreando manualmente qué informes importan para qué decisiones.
La brecha del contexto empresarial
Aquí está el problema fundamental: el linaje técnico y el linaje empresarial son cosas diferentes, y la mayoría de las herramientas solo hacen el primero.
El linaje técnico responde: ¿De dónde vienen estos datos y adónde van?
El linaje empresarial responde: ¿Qué decisiones dependen de estos datos y qué sucede si están mal?
La brecha entre ellos es donde ocurren los desastres de datos. Un pipeline puede ser 100% correcto desde un punto de vista técnico: todos los trabajos en verde, todas las pruebas aprobadas: mientras produce un resultado que es catastróficamente incorrecto para el negocio.
Digamos que eres una empresa fintech, y tu modelo de aprobación de préstamos es técnicamente perfecto. El linaje muestra datos limpios desde la aplicación hasta la ingeniería de características y la puntuación del modelo. Lo que el linaje no captura es que un cambio reciente en el esquema había intercambiado dos campos con nombres similares, "ingreso_anual" e "ingreso_mensual", de una manera que las reglas de validación del pipeline no detectaron.
El modelo ahora trata el ingreso mensual como ingreso anual. Los umbrales de aprobación que deberían haber requerido $60,000/año se están activando con $5,000/mes. El diagrama de linaje muestra flechas verdes. El resultado empresarial es un mes de préstamos malos que tardan seis meses en deshacerse.
Cómo se ve realmente un linaje útil
Los equipos que hacen bien el linaje tienen una cosa en común: lo tratan como un ejercicio de mapeo empresarial, no como una tarea de documentación técnica.
Necesitas adoptar un enfoque diferente: cada data Asset en tu almacén tiene tres etiquetas:
- Criticidad: ¿Se utiliza para informes regulatorios, decisiones operativas o solo para análisis?
- Procesos aguas abajo: ¿De qué funciones empresariales depende esto? (No de qué tablas, sino de qué funciones: facturación, decisiones clínicas, cumplimiento)
- Impacto del error: ¿Qué sucede si estos datos son incorrectos? (Retraso, pérdida financiera, problema regulatorio, seguridad del paciente)
La herramienta de linaje resultante es técnicamente simple: solo un rastreador de dependencias básico. Pero combinado con esas tres etiquetas, te dice exactamente lo que necesitas saber cuando algo falla.
Cuando tu tabla de procesamiento de reclamaciones tiene un problema de calidad de datos, no necesitas rastrear a través de quince tablas aguas abajo. Miras las etiquetas, ves "Criticidad: Regulatorio, Aguas abajo: Presentación mensual de CMS, Impacto del error: $2M de penalización si se retrasa," y sabes inmediatamente que debes escalar al CFO e iniciar el proceso de respaldo de presentación manual.
La respuesta al incidente completo toma minutos. No se requiere navegación de diagramas.
Por qué construimos lo incorrecto
Entonces, ¿por qué los equipos siguen comprando herramientas de linaje con muchas visualizaciones que no resuelven el problema real?
Parte de esto es teatro de adquisiciones. La persona que compra la herramienta a menudo no es la persona que depura el incidente a las 2 AM. Están comprando algo que parece exhaustivo para la auditoría de cumplimiento o la presentación ante la junta. Los diagramas hermosos marcan casillas. El mapeo de contexto empresarial requiere trabajo organizacional que no se fotografía bien.
Parte de esto es la naturaleza de cómo se venden estas herramientas. Los proveedores hacen demostraciones con entornos de datos sintéticos y limpios donde el linaje es obvio. Los entornos de datos empresariales reales son súper desordenados: décadas de sistemas heredados, transformaciones no documentadas, conocimiento tribal que nunca se ha escrito. Mapear el contexto empresarial requiere hablar con personas, no solo escanear código. No escala tan limpiamente como el descubrimiento técnico automatizado.
Y parte de esto es que el linaje técnico es más fácil de construir. Puedes escanear registros de consultas, analizar SQL, inspeccionar DAGs. El contexto empresarial requiere entrevistas, documentación, mantenimiento continuo a medida que cambian los procesos. Es trabajo organizacional disfrazado de trabajo técnico.
Cómo arreglar tu linaje
Si ya estás invertido en una herramienta de linaje (y la mayoría de las empresas lo están en este punto), no necesitas arrancarla. Necesitas agregar contexto empresarial a ella.
Comienza con tu historial de incidentes. Mira los últimos cinco incidentes de calidad de datos que causaron un impacto real en el negocio. Para cada uno, identifica:
- Qué datos estaban incorrectos
- Qué proceso de negocio se rompió
- Quién necesitaba saberlo
- Cuánto tiempo llevó averiguarlo
Ahora ve a mirar tu herramienta de linaje. ¿Ayuda con alguna de esas preguntas? Si no, tienes tu hoja de ruta de mejora.
Etiqueta manualmente los Assets críticos. No intentes etiquetar todo. Comienza con tus 20 principales data Assets por impacto empresarial. Para cada uno, documenta: qué decisiones alimenta, quién posee esas decisiones, y qué sucede si los datos son incorrectos.
Esto lleva tiempo: tal vez 30 minutos por Asset; tal vez más. Pero convierte tu linaje de un diagrama bonito en una herramienta operativa.
Construye alertas conscientes del negocio. La mayoría de las alertas de calidad de datos son técnicas. "Este trabajo falló" o "esta columna tiene valores nulos". Agrega alertas conscientes del negocio: "El resumen diario de ingresos tiene valores sospechosos, que alimentan el dashboard del CEO a las 8 AM."
La alerta debe incluir no solo qué está mal, sino de qué depende y quién necesita saberlo.
Practica la respuesta a incidentes. Realiza un ejercicio de simulación. Simula un problema de calidad de datos en un sistema crítico aguas arriba. Cronometra cuánto tiempo lleva responder: qué decisiones empresariales se ven afectadas, quién necesita ser notificado y cuáles son las opciones de mitigación.
Si lleva más de cinco minutos, tu linaje necesita más contexto empresarial.
El producto que desearía que existiera
He visto algunas de las herramientas de linaje en el mercado. Todas son variaciones sobre el mismo tema: escanea tu infraestructura, construye un gráfico, te muestra visualizaciones bonitas.
Lo que quiero es diferente. Quiero una herramienta que comience con los procesos empresariales y trabaje hacia atrás. Mapea las decisiones primero, luego rastrea los datos que las alimentan. Cuando algo falla, dime qué decisiones están en riesgo, no solo qué tablas están afectadas.
Pero no necesitas una nueva plataforma para obtener un mejor linaje. Necesitas dejar de tratar el linaje como un problema técnico y comenzar a tratarlo como uno organizacional. El diagrama no es el producto. El contexto empresarial lo es.
La prueba para tu herramienta de linaje
Aquí tienes una prueba simple. Elige un data Asset crítico en tu sistema: algo que sería doloroso si estuviera mal. Ahora responde estas preguntas sin mirar el código:
- ¿Qué decisiones empresariales dependen de estos datos?
- ¿Quién toma esas decisiones y cuándo?
- ¿Cuál es el costo de estar equivocado?
- ¿Quién necesita saber si hay un problema de calidad?
Si no puedes responder esas preguntas en 60 segundos, tu herramienta de linaje no está haciendo su trabajo: sin importar lo hermoso que se vea el diagrama.
El objetivo no es la observabilidad perfecta. Es el contexto utilizable. Y eso es más difícil de construir, pero infinitamente más valioso.
Andrew Tan es un emprendedor en serie y fundador de layline.io, construyendo infraestructura de procesamiento de datos empresariales que maneja cargas de trabajo tanto por lotes como en tiempo real a escala.
