Guía de entrevista para Data Scientists

Enfoque — Asociación no implica causa

Correlación significa que dos variables cambian conjuntamente. Causalidad significa que modificar una provoca un cambio en la otra. Una correlación puede surgir por una variable de confusión, causalidad inversa, sesgo de selección o azar. La evidencia causal más convincente suele proceder de una aleatorización adecuada. Cuando no es posible, se pueden emplear diferencias en diferencias, variables instrumentales, matching o regresión discontinua, dejando claros sus supuestos. Una respuesta sólida no afirma más de lo que permite el diseño.

Enfoque — Falso positivo frente a falso negativo

Un error de tipo I rechaza una hipótesis nula verdadera: es un falso positivo. Su probabilidad máxima tolerada se fija mediante alfa. Un error de tipo II no detecta un efecto real: es un falso negativo; su probabilidad es beta y la potencia equivale a uno menos beta. La importancia relativa depende del caso. En una alerta de fraude, un falso positivo genera fricción a un cliente legítimo y un falso negativo causa pérdidas. El umbral, la muestra y la métrica deben reflejar estos costes.

Enfoque — Hipótesis nula → probabilidad binomial → evidencia e incertidumbre

Bajo la hipótesis de una moneda justa, el número de caras sigue una binomial con n igual a diez y p igual a 0,5. Ocho o más caras son posibles y, con una muestra tan pequeña, no constituyen evidencia especialmente fuerte. En una prueba bilateral también se consideran resultados igual de extremos en el otro sentido. Por tanto, no concluiría solo con diez lanzamientos que existe sesgo. Presentaría el valor p o un intervalo de confianza y recomendaría más observaciones. La independencia de los lanzamientos y la estabilidad de las condiciones también son supuestos.

Enfoque — Hipótesis → unidad → métricas → guardrails → duración → decisión

Formularía una hipótesis, por ejemplo que un contenido más relevante aumenta la satisfacción sin perjudicar diversidad, latencia ni retención a largo plazo. Con uso repetido, aleatorizaría por usuario para mantener una experiencia coherente; si existen efectos de red, podrían requerirse clústeres o grupos holdout. La métrica principal debe seguir el objetivo: sesiones satisfactorias, conversión, retención o ingresos. Clics, tiempo y guardados pueden ser impulsores; latencia, quejas, diversidad, equidad y churn, guardrails. El test debe cubrir el tamaño de muestra y patrones semanales. Antes del despliegue revisaría novedad, segmentos, guardrails e importancia práctica, no solo estadística.

Enfoque — Validar → fiabilidad del segmento → impacto → estrategia de despliegue

Primero revisaría tamaño de muestra, intervalo de confianza, si el segmento estaba predefinido, pruebas múltiples y clasificación correcta. Un resultado ruidoso de un subgrupo no debe imponerse al efecto global sin evidencia suficiente. Si el perjuicio es robusto, investigaría el mecanismo. Los usuarios nuevos quizá necesiten opciones predeterminadas más simples o más contexto. Si son estratégicos, no desplegaría globalmente: limitaría a usuarios existentes, crearía otra variante o probaría un onboarding adaptado. La decisión debe considerar magnitud, persistencia, efectos heterogéneos y contexto empresarial.

Enfoque — Intervención no aleatoria con una tendencia de control comparable

Diferencias en diferencias resulta útil cuando no puede aleatorizarse, por ejemplo en lanzamientos regionales, políticas o precios. Compara el cambio del grupo tratado con el cambio simultáneo de un grupo de control. El supuesto central es que, sin la intervención, ambos habrían seguido tendencias paralelas. Por eso revisaría periodos anteriores y elegiría un control comparable. Si una función se lanza en Canadá y no en Estados Unidos, la diferencia entre cambios de retención puede estimar el efecto si el control refleja estacionalidad y factores externos. La afirmación causal sigue siendo más prudente que con aleatorización.

Enfoque — Definir label → crear features → establecer baseline → evaluar → desplegar con control

Primero definiría churn y el momento de predicción, por ejemplo cancelar o no renovar en los próximos 30 días entre usuarios activos hoy. El conjunto de entrenamiento debe utilizar fechas de corte coherentes. Las features pueden incluir uso, recencia, adopción, soporte, pagos, plan, antigüedad, tendencias y downgrades. Cualquier dato posterior al momento de predicción sería leakage. Empezaría con regresión logística o árboles con gradient boosting y evaluaría AUC, precision, recall, calibración, lift en deciles superiores y valor económico de la intervención. Accuracy sirve poco cuando el churn es infrecuente. En producción vigilaría drift, segmentos, equidad y si una acción realmente puede retener a los usuarios detectados.

Enfoque — Ajuste al entrenamiento frente a generalización

Overfitting significa que el modelo aprende ruido o particularidades del conjunto de entrenamiento en lugar de patrones generalizables. Rinde muy bien en entrenamiento y mal con datos no vistos. Las medidas incluyen separar correctamente entrenamiento, validación y prueba, cross-validation, regularización, modelos más simples, poda, early stopping, dropout, más datos y ajuste controlado de hiperparámetros. El leakage puede parecer un rendimiento extraordinario y fracasar en producción. En series temporales o comportamiento, la división debe respetar el orden cronológico.

Enfoque — Interpretabilidad, no linealidad, datos, rendimiento y despliegue

La regresión logística es rápida, interpretable, suele calibrarse bien y constituye una baseline sólida para clasificación binaria. Encaja con datos limitados, relaciones aproximadamente lineales o una gran necesidad de explicación. Random Forest captura no linealidades e interacciones con menos especificación manual, pero puede ser mayor, menos interpretable y débil fuera de la distribución de entrenamiento. Compararía ambos con la misma partición, métricas adecuadas, calibración, coste de inferencia y restricciones empresariales. Si la complejidad no aporta una mejora relevante, elegiría la solución más sencilla.

Enfoque — Diferencia de datos → leakage → métrica incorrecta → drift → implementación → feedback loops

Las causas incluyen datos offline no representativos, training-serving skew, leakage temporal, un objetivo offline inadecuado o drift en usuarios, temporada, canales, precios e inventario. El propio modelo también puede alterar los datos futuros mediante sus decisiones. Los fallos de implementación son frecuentes: features ausentes, valores predeterminados distintos, timeouts, features obsoletas, umbrales o versiones incorrectos. Compararía distribuciones offline y online, predicciones, calibración, rendimiento por segmento, logs y resultados empresariales. Después decidiría entre rollback, ajuste de umbral, corrección del pipeline, reentrenamiento o un nuevo objetivo.

Enfoque — Coste de falsos positivos frente a falsos negativos

Precision importa más cuando los falsos positivos son caros, por ejemplo si un modelo de fraude bloquea a clientes legítimos. Recall importa más cuando omitir un positivo causa mucho daño, como en cribado médico o fraude grave. Los sistemas reales exigen una compensación. Elegiría el umbral según costes empresariales, capacidad operativa, daño al usuario y proceso posterior, y con clases desequilibradas estudiaría la curva precision-recall en lugar de una sola cifra.

Enfoque — Calidad de la probabilidad, no solo del orden

Un modelo calibrado produce probabilidades acordes con las frecuencias observadas: de los casos con 0,8, aproximadamente el 80 % debería ser positivo. Importa cuando la probabilidad determina riesgo, precio, triaje, colas de revisión o valor esperado. Un modelo puede ordenar bien y calibrar mal. Revisaría diagramas de fiabilidad y Brier score, y podría aplicar Platt scaling, regresión isotónica o temperature scaling. La comprobación debe usar datos de validación similares a producción. Para ranking puro, una calibración perfecta importa menos que para puntuaciones de riesgo interpretadas.

Enfoque — Mes de cohorte → mes de actividad → diferencia mensual → agregación

Un CTE de cohortes contiene cada usuario y su mes de registro; otro, cada usuario y mes con actividad válida. Tras unirlos, calcularía la diferencia de meses y contaría usuarios activos únicos por cohorte y diferencia. El denominador es el tamaño inicial de la cohorte y un LEFT JOIN conserva los meses sin retención. Definiría actividad, usuarios de prueba, zona horaria y límites mensuales. Varios eventos de un usuario en un mes cuentan una vez. El resultado sería una matriz por mes de registro y mes de retención.

Enfoque — Cuantificar → segmentar → determinar causa → elegir tratamiento

Calcularía recuento, proporción y tipo por columna, por ejemplo con df.isna().sum() y mean(), y segmentaría por fecha, origen, dispositivo, región y variable objetivo. Lo esencial es conocer la causa: campo opcional, fallo de tracking, dispositivo no compatible o valor no aplicable. Según la causa, conservaría los ausentes como categoría, los imputaría, los excluiría o corregiría el origen. La imputación se aprende solo con entrenamiento y se aplica a validación y prueba. La ausencia puede ser predictiva, pero también introducir riesgos de equidad o cumplimiento.

Enfoque — Detectar → investigar causa → decidir según el significado empresarial

Utilizaría distribuciones, boxplots, z-scores, IQR, percentiles o métodos basados en modelos, y después revisaría registro original, fuente, momento y segmento. Una edad negativa seguramente es un error; una compra empresarial enorme puede ser válida y muy importante para los ingresos. Los outliers válidos pueden exigir transformación, winsorización, modelos robustos o segmentos propios. Solo eliminaría valores imposibles, duplicados, fallos de instrumentación, cuentas de prueba o datos fuera de alcance con una justificación clara. Si los outliers válidos determinan el resultado, mostraría sensibilidad con y sin ellos.

Enfoque — Calidad de métricas → embudo → segmentos → mecanismo → acción

Los clics pueden ser solo un proxy débil. Validaría el resultado y estudiaría impresión, clic, carrito, checkout, compra, reembolso y retorno. La función podría despertar curiosidad, pero distraer de la compra. Segmentaría por tipo de usuario, canal, categoría, dispositivo y superficie, y revisaría relevancia, precios, existencias, entrega, diversidad, latencia y diseño. Desplegar solo por mayor CTR sería incorrecto. Según la causa, revertiría, limitaría a segmentos saludables o cambiaría el objetivo hacia la calidad de compra downstream.

Enfoque — Liquidez → calidad → equilibrio → retención → economía unitaria

La idea central es la liquidez: ¿la demanda encuentra oferta adecuada con rapidez y la oferta recibe suficiente demanda? Las métricas dependen del mercado, como tasa de match, espera, cancelación y utilización en movilidad, o propuestas cualificadas, contratación, finalización y repetición en servicios profesionales. Segmentaría por región, categoría, hora, cohorte, nivel de oferta e intención de demanda, porque los promedios ocultan desequilibrios locales. Los guardrails incluyen seguridad, fraude, calidad, reembolsos, churn en ambos lados y economía unitaria. La acción cambia por completo según falte oferta o demanda.

Enfoque — Valor para el usuario → comportamiento repetido → aprendizaje → guardrails

La métrica debe representar aprendizaje sostenible, no actividad vacía. Podrían ser alumnos activos semanales que completan una lección sustancial con precisión suficiente o minutos de aprendizaje ponderados por calidad. Los inputs incluyen lecciones, repasos, práctica oral y progreso; los resultados, retención, conversión y competencia medible. Los guardrails abarcan agotamiento, finalizaciones apresuradas, trampas, notificaciones desactivadas y churn. Con Producto y especialistas en aprendizaje comprobaría si la métrica predice progreso real y permanencia a largo plazo.

Enfoque — Objetivo → labels → features → métricas → intervención → monitorización

Primero definiría fraude y la acción: bloquear, revisar, exigir autenticación o puntuar riesgo. Los labels pueden proceder de chargebacks, casos confirmados y denuncias, pero llegan tarde y contienen errores. Las features pueden incluir importe, comercio, dispositivo, geografía, antigüedad de cuenta, velocidad, historial de pagos, intentos fallidos y disputas anteriores. Comenzaría con reglas y una baseline simple y compararía regresión logística, gradient boosting o detección de anomalías si los labels son débiles. Evaluaría precision-recall, recall con capacidad fija de revisión, falsos positivos, importe de fraude detectado y calibración. En producción vigilaría drift, adaptación adversarial, equidad, latencia, capacidad de revisión, feedback loops y rollback.

Enfoque — Definir objetivo → features disponibles → métrica → calibración → impacto en el usuario

Definiría el tiempo total desde confirmación hasta entrega o componentes como preparación, asignación, recogida, trayecto y entrega. Las features disponibles incluyen restaurante, hora, día, clima, distancia, oferta de repartidores, carga pendiente, preparación histórica, tráfico, tamaño del pedido y zona. Los datos conocidos solo después de predecir serían leakage. MAE es comprensible, pero subestimar puede ser peor que sobreestimar. Para ventanas prometidas, la calibración es fundamental. Monitorizaría por restaurante, zona, hora y grupo, y consideraría actualidad de features, nuevos locales, festivos, clima y cómo la ETA mostrada altera decisiones.

Enfoque — Problema → método → decisión → impacto → aprendizaje

Elegiría un proyecto que cambiara una decisión, producto, proceso o métrica. Después del problema empresarial, explicaría datos, método, validación y compensaciones con el nivel de detalle adecuado. Lo esencial es conectar con la acción, como priorizar contactos mediante un modelo de churn o modificar un lanzamiento tras un experimento. Cuantificaría ingresos, churn, tiempo, coste o velocidad de decisión y explicaría límites y siguiente mejora. Las herramientas importan menos que corrección, confianza, adopción e impacto.

Enfoque — Decisión → intuición → evidencia → límites → acción

Empezaría por la decisión, no por la arquitectura. Después explicaría con lenguaje cotidiano qué predice el modelo, qué señales utiliza, qué rendimiento tiene y dónde no debe confiarse en él. Ejemplos, códigos de motivo, calibración y gráficos sencillos de compensaciones ayudan. Expondría incertidumbre, calidad, sesgo, drift y casos límite. Por último conectaría puntuación y acción, como una medida de retención dirigida al 10 % de mayor riesgo cuya eficacia incremental se probaría por separado.

Enfoque — Expectativa → evidencia → comunicación → decisión → resultado

Describiría la expectativa, los datos revisados y la validación cuidadosa para que el hallazgo contrario resulte creíble. Al comunicarlo, reconocería el objetivo, presentaría la evidencia de forma clara, explicaría incertidumbre y ofrecería alternativas como una prueba menor, otra audiencia o más medición. El objetivo no es ganar una discusión, sino mejorar la decisión. Terminaría con la medida adoptada y lo aprendido sobre influencia, confianza y comunicación, incluso si no se aceptó mi recomendación.