Domande da colloquio per Data Scientist

Approccio — L’associazione non implica una causa

Correlazione significa che due variabili cambiano insieme. Causalità significa che modificare una variabile provoca un cambiamento nell’altra. Una correlazione può derivare da una variabile confondente, causalità inversa, bias di selezione o caso. Le evidenze causali più convincenti provengono di solito da una randomizzazione adeguata. Quando non è possibile, si possono usare differenze nelle differenze, variabili strumentali, matching o regressione discontinua, chiarendone le ipotesi. Una risposta solida non afferma più di quanto consenta il disegno dello studio.

Approccio — Falso positivo rispetto a falso negativo

Un errore di tipo I respinge un’ipotesi nulla vera: è un falso positivo. La probabilità massima tollerata viene fissata tramite alfa. Un errore di tipo II non rileva un effetto reale: è un falso negativo; la sua probabilità è beta e la potenza equivale a uno meno beta. L’importanza relativa dipende dal caso. In un avviso antifrode, un falso positivo crea attrito per un cliente legittimo e un falso negativo causa perdite. Soglia, campione e metrica devono riflettere tali costi.

Approccio — Ipotesi nulla → probabilità binomiale → evidenze e incertezza

Sotto l’ipotesi di una moneta equa, il numero di teste segue una binomiale con n uguale a dieci e p uguale a 0,5. Otto o più teste sono possibili e, con un campione così piccolo, non costituiscono evidenze particolarmente forti. In un test bilaterale si considerano anche risultati altrettanto estremi nella direzione opposta. Non concluderei quindi, sulla base di dieci lanci, che esista un bias. Presenterei il valore p o un intervallo di confidenza e consiglierei altre osservazioni. Anche l’indipendenza dei lanci e la stabilità delle condizioni sono ipotesi.

Approccio — Ipotesi → unità → metriche → guardrail → durata → decisione

Formulerei un’ipotesi, per esempio che contenuti più pertinenti aumentino la soddisfazione senza danneggiare varietà, latenza o fidelizzazione a lungo termine. In caso di utilizzo ripetuto, randomizzerei per utente per mantenere un’esperienza coerente; se esistono effetti di rete, potrebbero servire cluster o gruppi holdout. La metrica principale deve seguire l’obiettivo: sessioni soddisfacenti, conversione, fidelizzazione o ricavi. Clic, tempo e salvataggi possono essere driver; latenza, reclami, varietà, equità e churn, guardrail. Il test deve coprire la dimensione del campione e gli schemi settimanali. Prima del deployment esaminerei novità, segmenti, guardrail e importanza pratica, non soltanto statistica.

Approccio — Convalidare → affidabilità del segmento → impatto → strategia di deployment

Per prima cosa esaminerei dimensione del campione, intervallo di confidenza, se il segmento era predefinito, test multipli e corretta classificazione. Un risultato rumoroso di un sottogruppo non dovrebbe prevalere sull’effetto complessivo senza evidenze sufficienti. Se il danno fosse robusto, indagherei il meccanismo. I nuovi utenti potrebbero aver bisogno di impostazioni predefinite più semplici o di più contesto. Se sono strategici, non procederei con un deployment globale: limiterei agli utenti esistenti, creerei un’altra variante o testerei un onboarding adattato. La decisione deve considerare entità, persistenza, effetti eterogenei e contesto aziendale.

Approccio — Intervento non randomizzato con una tendenza di controllo comparabile

Le differenze nelle differenze sono utili quando non è possibile randomizzare, per esempio in lanci regionali, politiche o prezzi. Confrontano la variazione del gruppo trattato con la variazione contemporanea di un gruppo di controllo. L’ipotesi centrale è che, in assenza dell’intervento, entrambi avrebbero seguito tendenze parallele. Esaminerei quindi i periodi precedenti e sceglierei un controllo comparabile. Se una funzione viene lanciata in Canada ma non negli Stati Uniti, la differenza tra i cambiamenti nella fidelizzazione può stimare l’effetto se il controllo riflette stagionalità e fattori esterni. L’affermazione causale resta più prudente che con la randomizzazione.

Approccio — Definire la label → creare feature → stabilire la baseline → valutare → distribuire con controllo

Per prima cosa definirei il churn e il momento della previsione, per esempio annullamento o mancato rinnovo nei successivi 30 giorni tra gli utenti attivi oggi. Il set di addestramento deve usare date di cutoff coerenti. Le feature possono includere utilizzo, recenza, adozione, assistenza, pagamenti, piano, anzianità, tendenze e downgrade. Qualsiasi dato successivo al momento della previsione sarebbe leakage. Inizierei con regressione logistica o alberi con gradient boosting e valuterei AUC, precision, recall, calibrazione, lift nei decili superiori e valore economico dell’intervento. L’accuracy è poco utile quando il churn è raro. In produzione monitorerei drift, segmenti, equità e se un’azione può realmente fidelizzare gli utenti individuati.

Approccio — Adattamento ai dati di training rispetto alla generalizzazione

Overfitting significa che il modello apprende rumore o particolarità del set di training invece di schemi generalizzabili. Funziona molto bene sul training e male su dati mai visti. Le contromisure comprendono corretta separazione tra training, validation e test, cross-validation, regolarizzazione, modelli più semplici, potatura, early stopping, dropout, più dati e regolazione controllata degli iperparametri. Il leakage può sembrare una prestazione eccezionale e fallire in produzione. Nelle serie temporali o nei dati comportamentali, la suddivisione deve rispettare l’ordine cronologico.

Approccio — Interpretabilità, non linearità, dati, prestazioni e deployment

La regressione logistica è rapida, interpretabile, spesso ben calibrata e costituisce una baseline solida per la classificazione binaria. È adatta a dati limitati, relazioni approssimativamente lineari o una forte esigenza di spiegabilità. Random Forest coglie non linearità e interazioni con minore specificazione manuale, ma può essere più grande, meno interpretabile e debole fuori dalla distribuzione di training. Confronterei entrambi con la stessa suddivisione, metriche adeguate, calibrazione, costo di inferenza e vincoli aziendali. Se la complessità non apporta un miglioramento rilevante, sceglierei la soluzione più semplice.

Approccio — Differenza nei dati → leakage → metrica errata → drift → implementazione → feedback loop

Le cause includono dati offline non rappresentativi, training-serving skew, leakage temporale, un obiettivo offline inadeguato o drift di utenti, stagione, canali, prezzi e inventario. Anche le decisioni del modello possono modificare i dati futuri. Gli errori di implementazione sono frequenti: feature mancanti, valori predefiniti diversi, timeout, feature obsolete, soglie o versioni errate. Confronterei distribuzioni offline e online, previsioni, calibrazione, prestazioni per segmento, log e risultati aziendali. Deciderei poi tra rollback, regolazione della soglia, correzione della pipeline, nuovo training o nuovo obiettivo.

Approccio — Costo dei falsi positivi rispetto ai falsi negativi

Precision conta di più quando i falsi positivi sono costosi, per esempio se un modello antifrode blocca clienti legittimi. Recall conta di più quando omettere un positivo causa gravi danni, come nello screening medico o nelle frodi gravi. I sistemi reali richiedono un compromesso. Sceglierei la soglia in base a costi aziendali, capacità operativa, danno per l’utente e processo successivo e, con classi sbilanciate, studierei la curva precision-recall invece di un unico valore.

Approccio — Qualità della probabilità, non soltanto dell’ordinamento

Un modello calibrato produce probabilità coerenti con le frequenze osservate: tra i casi con 0,8, circa l’80% dovrebbe essere positivo. È importante quando la probabilità determina rischio, prezzo, triage, code di revisione o valore atteso. Un modello può ordinare bene e calibrare male. Esaminerei diagrammi di affidabilità e Brier score e potrei applicare Platt scaling, regressione isotonica o temperature scaling. La verifica deve usare dati di validation simili alla produzione. Per il puro ranking, una calibrazione perfetta conta meno che per punteggi di rischio interpretati.

Approccio — Mese della coorte → mese di attività → differenza mensile → aggregazione

Una CTE delle coorti contiene ogni utente e il relativo mese di registrazione; un’altra, ogni utente e mese con attività valida. Dopo averle unite, calcolerei la differenza in mesi e conterei gli utenti attivi univoci per coorte e differenza. Il denominatore è la dimensione iniziale della coorte e un LEFT JOIN conserva i mesi senza fidelizzazione. Definirei attività, utenti di prova, fuso orario e limiti mensili. Più eventi di un utente nello stesso mese contano una volta. Il risultato sarebbe una matrice per mese di registrazione e mese di fidelizzazione.

Approccio — Quantificare → segmentare → determinare la causa → scegliere il trattamento

Calcolerei conteggio, percentuale e tipo per colonna, per esempio con df.isna().sum() e mean(), e segmenterei per data, origine, dispositivo, regione e variabile target. L’aspetto essenziale è capire la causa: campo facoltativo, errore di tracking, dispositivo non compatibile o valore non applicabile. In base alla causa, manterrei i valori mancanti come categoria, li imputerei, li escluderei o correggerei l’origine. L’imputazione viene appresa soltanto sul training e applicata a validation e test. L’assenza può essere predittiva, ma può anche introdurre rischi di equità o conformità.

Approccio — Rilevare → indagare la causa → decidere in base al significato aziendale

Userei distribuzioni, boxplot, z-score, IQR, percentili o metodi basati su modelli e poi esaminerei record originale, fonte, momento e segmento. Un’età negativa è probabilmente un errore; un acquisto aziendale enorme può essere valido e molto importante per i ricavi. Gli outlier validi possono richiedere trasformazione, winsorization, modelli robusti o segmenti dedicati. Eliminerei soltanto valori impossibili, duplicati, errori di strumentazione, account di prova o dati fuori ambito con una giustificazione chiara. Se gli outlier validi determinano il risultato, mostrerei la sensibilità con e senza di essi.

Approccio — Qualità delle metriche → funnel → segmenti → meccanismo → azione

I clic possono essere soltanto un proxy debole. Convaliderei il risultato e studierei impression, clic, carrello, checkout, acquisto, rimborso e ritorno. La funzione potrebbe suscitare curiosità ma distrarre dall’acquisto. Segmenterei per tipo di utente, canale, categoria, dispositivo e superficie ed esaminerei pertinenza, prezzi, disponibilità, consegna, varietà, latenza e design. Procedere con il deployment soltanto per un CTR maggiore sarebbe sbagliato. In base alla causa, annullerei, limiterei ai segmenti sani o cambierei l’obiettivo verso la qualità degli acquisti a valle.

Approccio — Liquidità → qualità → equilibrio → fidelizzazione → economia unitaria

L’idea centrale è la liquidità: la domanda trova rapidamente un’offerta adeguata e l’offerta riceve domanda sufficiente? Le metriche dipendono dal mercato, come tasso di corrispondenza, attesa, cancellazione e utilizzo nella mobilità, oppure proposte qualificate, assunzione, completamento e riutilizzo nei servizi professionali. Segmenterei per regione, categoria, ora, coorte, livello dell’offerta e intento della domanda, perché le medie nascondono squilibri locali. I guardrail includono sicurezza, frodi, qualità, rimborsi, churn su entrambi i lati ed economia unitaria. L’intervento cambia completamente a seconda che manchi offerta o domanda.

Approccio — Valore per l’utente → comportamento ripetuto → apprendimento → guardrail

La metrica deve rappresentare un apprendimento sostenibile, non attività vuota. Potrebbero essere studenti attivi settimanali che completano una lezione sostanziale con precisione sufficiente oppure minuti di apprendimento ponderati per qualità. Gli input includono lezioni, ripassi, pratica orale e progresso; i risultati, fidelizzazione, conversione e competenza misurabile. I guardrail comprendono affaticamento, completamenti frettolosi, comportamenti scorretti, notifiche disattivate e churn. Con Prodotto e specialisti dell’apprendimento verificherei se la metrica predice progresso reale e permanenza a lungo termine.

Approccio — Obiettivo → label → feature → metriche → intervento → monitoraggio

Per prima cosa definirei frode e azione: bloccare, esaminare, richiedere autenticazione o assegnare un punteggio di rischio. Le label possono derivare da chargeback, casi confermati e segnalazioni, ma arrivano in ritardo e contengono errori. Le feature possono includere importo, esercente, dispositivo, area geografica, anzianità dell’account, velocità, cronologia dei pagamenti, tentativi falliti e contestazioni precedenti. Inizierei con regole e una baseline semplice e confronterei regressione logistica, gradient boosting o rilevamento delle anomalie se le label fossero deboli. Valuterei precision-recall, recall con capacità di revisione fissa, falsi positivi, importo delle frodi rilevate e calibrazione. In produzione monitorerei drift, adattamento avversario, equità, latenza, capacità di revisione, feedback loop e rollback.

Approccio — Definire l’obiettivo → feature disponibili → metrica → calibrazione → impatto sull’utente

Definirei il tempo totale dalla conferma alla consegna oppure componenti come preparazione, assegnazione, ritiro, tragitto e consegna. Le feature disponibili includono ristorante, ora, giorno, meteo, distanza, disponibilità dei corrieri, carico arretrato, preparazione storica, traffico, dimensione dell’ordine e zona. I dati noti soltanto dopo la previsione sarebbero leakage. MAE è comprensibile, ma sottostimare può essere peggio che sovrastimare. Per le finestre promesse, la calibrazione è fondamentale. Monitorerei per ristorante, zona, ora e coorte e considererei freschezza delle feature, nuovi locali, festività, meteo e il modo in cui l’ETA mostrata modifica le decisioni.

Approccio — Problema → metodo → decisione → impatto → apprendimento

Sceglierei un progetto che ha cambiato una decisione, un prodotto, un processo o una metrica. Dopo il problema aziendale, spiegherei dati, metodo, convalida e compromessi con un livello di dettaglio adeguato. L’aspetto essenziale è il collegamento con l’azione, come dare priorità ai contatti tramite un modello di churn o modificare un lancio dopo un esperimento. Quantificherei ricavi, churn, tempo, costo o velocità decisionale e spiegherei limiti e miglioramento successivo. Gli strumenti contano meno di correttezza, fiducia, adozione e impatto.

Approccio — Decisione → intuizione → evidenze → limiti → azione

Inizierei dalla decisione, non dall’architettura. Spiegherei poi con un linguaggio quotidiano cosa prevede il modello, quali segnali usa, quali prestazioni offre e dove non bisogna fidarsi. Esempi, codici esplicativi, calibrazione e semplici grafici dei compromessi sono utili. Esporrei incertezza, qualità, bias, drift e casi limite. Infine collegherei punteggio e azione, come un intervento di fidelizzazione rivolto al 10% a maggior rischio, la cui efficacia incrementale verrebbe testata separatamente.

Approccio — Aspettativa → evidenze → comunicazione → decisione → risultato

Descriverei l’aspettativa, i dati esaminati e la convalida accurata che rende credibile il risultato contrario. Nel comunicarlo, riconoscerei l’obiettivo, presenterei chiaramente le evidenze, spiegherei l’incertezza e offrirei alternative come un test più piccolo, un altro pubblico o una misurazione aggiuntiva. L’obiettivo non è vincere una discussione, ma migliorare la decisione. Concluderei con l’intervento adottato e ciò che ho imparato su influenza, fiducia e comunicazione, anche se la mia raccomandazione non fosse stata accettata.