Cómo Contratar un Data Engineer en España

🎯 “¿Cuándo usarías Spark vs pandas para procesar datos? ¿Cuál es el threshold?”

Por qué preguntarlo: Discrimina perfiles que han trabajado con datos a escala real de quienes solo conocen el entorno local. La respuesta correcta implica hablar de volumen de datos, distribución en cluster, coste computacional y tipo de operaciones.

🎯 “Explica la arquitectura medallion (Bronze/Silver/Gold) y sus ventajas sobre un DWH clásico”

Por qué preguntarlo: Evalúa si el candidato entiende el paradigma lakehouse moderno. Identifica conocimiento de Delta Lake/Iceberg, separación de capas de calidad y el razonamiento detrás de cada capa del proceso de refinamiento.

🎯 “¿Cómo garantizarías idempotencia en un pipeline de ingesta diaria?”

Por qué preguntarlo: La idempotencia es crítica para pipelines fiables en producción. Revela si el candidato ha gestionado pipelines reales con fallos parciales, reintentos y upserts, no solo flujos simples sin manejo de errores.

🎯 “Un pipeline de Spark tarda 3 horas. Descríbeme tu proceso de diagnóstico y optimización”

Por qué preguntarlo: Evalúa experiencia real en tuning de Spark: particionamiento, shuffles, skew de datos, caching, configuración de ejecutores. Un candidato sin experiencia en producción no puede dar una respuesta concreta.

🎯 “¿Qué es data lineage y cómo lo implementarías en un pipeline dbt?”

Por qué preguntarlo: Para perfiles senior: evalúa comprensión de gobernanza de datos, trazabilidad y documentación. Un Data Lead debe poder diseñar un sistema de lineage que permita auditoría y debugging de datos en el tiempo.