Leitfaden für Data-Scientist-Interviews

Vorgehensweise — Zusammenhang ist nicht Ursache

Korrelation bedeutet, dass sich zwei Variablen gemeinsam verändern. Kausalität bedeutet, dass eine Veränderung in einer Variable eine Veränderung der anderen bewirkt. Eine Korrelation kann durch einen Confounder, umgekehrte Kausalität, Auswahlverzerrung oder Zufall entstehen. Kausalität lässt sich am überzeugendsten durch geeignete Randomisierung zeigen. Ist das nicht möglich, nutze ich Designs wie Difference-in-Differences, Instrumentvariablen, Matching oder Regression Discontinuity und lege deren Annahmen offen. Eine starke Antwort behauptet nicht mehr, als das Design trägt.

Vorgehensweise — False Positive gegenüber False Negative

Ein Fehler erster Art verwirft eine wahre Nullhypothese: ein False Positive. Seine maximal tolerierte Wahrscheinlichkeit wird durch Alpha festgelegt. Ein Fehler zweiter Art übersieht einen echten Effekt: ein False Negative; seine Wahrscheinlichkeit ist Beta, und Power entspricht eins minus Beta. Welche Seite schwerer wiegt, hängt vom Fall ab. Bei einem Betrugsalarm verursacht ein False Positive Reibung für ehrliche Kunden, ein False Negative finanziellen Schaden. Schwellenwert, Stichprobengröße und Kennzahl müssen diese Kosten abbilden.

Vorgehensweise — Nullhypothese → Binomialwahrscheinlichkeit → Evidenz und Unsicherheit

Unter der Nullhypothese einer fairen Münze ist die Zahl der Köpfe binomialverteilt mit n gleich zehn und p gleich 0,5. Acht oder mehr Köpfe sind möglich und bei einer so kleinen Stichprobe keine außergewöhnlich starke Evidenz. Für einen zweiseitigen Test berücksichtige ich ebenso extreme Ergebnisse auf beiden Seiten. Ich würde deshalb nicht allein aus zehn Würfen schließen, dass die Münze verzerrt ist. Statt einer binären Behauptung nenne ich p-Wert oder Konfidenzintervall und empfehle mehr Beobachtungen. Auch Unabhängigkeit der Würfe und unveränderte Bedingungen sind Annahmen.

Vorgehensweise — Hypothese → Einheit → Kennzahlen → Schutzkennzahlen → Dauer → Entscheidung

Ich formuliere eine Hypothese, etwa dass relevantere Inhalte die Nutzerzufriedenheit erhöhen, ohne Vielfalt, Latenz oder langfristige Retention zu verschlechtern. Bei wiederholter Nutzung randomisiere ich auf Nutzerebene, damit die Erfahrung konsistent bleibt; bei Netzwerkeffekten können Cluster oder Holdouts nötig sein. Die Hauptkennzahl folgt dem Ziel, beispielsweise erfolgreiche Sitzungen, Conversion, Retention oder Umsatz. Klickrate, Verweildauer und Saves sind mögliche Treiber; Latenz, Beschwerden, Vielfalt, Fairness und Churn dienen als Schutzkennzahlen. Der Test muss Stichprobengröße und Wochenmuster abdecken. Vor dem Rollout prüfe ich Neuheitseffekte, Segmente, Guardrails und praktische statt nur statistische Bedeutung.

Vorgehensweise — Validieren → Segmentverlässlichkeit → Geschäftswirkung → Rollout-Strategie

Zuerst prüfe ich Stichprobengröße, Konfidenzintervall, vorab definierte Segmente, Mehrfachtests und korrekte Klassifizierung. Ein verrauschtes Teilergebnis sollte den Gesamteffekt nicht ohne ausreichende Evidenz überstimmen. Ist der Nachteil robust, untersuche ich den Mechanismus. Neue Nutzer benötigen möglicherweise einfachere Defaults oder mehr Erklärung. Sind sie strategisch wichtig, rolle ich nicht global aus, sondern nur für Bestandsnutzer, entwickle eine neue Variante oder teste angepasstes Onboarding. Entscheidung und Kommunikation berücksichtigen Effektgröße, Dauerhaftigkeit, heterogene Treatment Effects und Geschäftskontext.

Vorgehensweise — Nicht randomisierte Maßnahme mit vergleichbarem Kontrolltrend

Difference-in-Differences eignet sich, wenn Randomisierung nicht möglich ist, etwa bei regionalen Rollouts, Richtlinien oder Preisen. Verglichen wird die Veränderung der behandelten Gruppe mit der zeitgleichen Veränderung einer Kontrollgruppe. Zentrale Annahme sind parallele Trends ohne Maßnahme. Deshalb prüfe ich Vorperioden und wähle eine möglichst vergleichbare Kontrolle. Startet eine Funktion etwa in Kanada, aber nicht in den USA, kann die Differenz der Retention-Veränderungen den Effekt schätzen, sofern die Kontrolle Saisonalität und externe Faktoren abbildet. Die kausale Aussage bleibt vorsichtiger als bei Randomisierung, weil die Annahme nicht vollständig beweisbar ist.

Vorgehensweise — Label definieren → Features erstellen → Baseline → bewerten → kontrolliert deployen

Zuerst definiere ich Churn und Vorhersagezeitpunkt, etwa Kündigung oder ausbleibende Verlängerung innerhalb der nächsten 30 Tage bei heute aktiven Nutzern. Der Trainingsdatensatz nutzt konsistente Stichtage. Features können Nutzung, Recency, Funktionsadoption, Support, Zahlungsprobleme, Tarif, Dauer, Trend und Downgrades umfassen. Daten nach dem Vorhersagezeitpunkt sind Leakage. Ich beginne mit Logistic Regression oder Gradient Boosted Trees und bewerte AUC, Precision, Recall, Kalibrierung, Lift in oberen Dezilen und den wirtschaftlichen Wert von Interventionen. Accuracy ist bei seltenem Churn wenig hilfreich. Im Betrieb überwache ich Drift, Segmente, Fairness und ob identifizierte Nutzer tatsächlich durch eine Maßnahme gehalten werden können.

Vorgehensweise — Trainingsanpassung gegenüber Generalisierung

Overfitting bedeutet, dass ein Modell Rauschen oder Besonderheiten des Trainingssatzes statt übertragbarer Muster lernt. Es ist im Training stark und auf unbekannten Daten schwach. Gegenmaßnahmen sind saubere Train-, Validation- und Test-Splits, Cross-Validation, Regularisierung, einfachere Modelle, Tree Pruning, Early Stopping, Dropout, mehr Daten und kontrolliertes Hyperparameter-Tuning. Leakage kann wie hervorragende Leistung aussehen und in Produktion scheitern. Bei Zeitreihen oder Nutzerverhalten müssen Splits die zeitliche Reihenfolge respektieren.

Vorgehensweise — Interpretierbarkeit, Nichtlinearität, Datenmenge, Leistung und Deployment

Logistic Regression ist schnell, gut interpretierbar, oft leichter zu kalibrieren und eine starke Baseline für binäre Klassifikation. Sie passt bei begrenzten Daten, annähernd linearen Zusammenhängen oder hohem Erklärungsbedarf. Random Forest bildet Nichtlinearitäten und Interaktionen mit weniger manueller Spezifikation ab, kann aber größer, weniger interpretierbar und außerhalb der Trainingsverteilung schwach sein. Ich vergleiche beide auf demselben Split mit passenden Kennzahlen, Kalibrierung, Inferenzkosten und Geschäftsgrenzen. Liefert das komplexere Modell keinen bedeutsamen Vorteil, bevorzuge ich die einfachere Lösung.

Vorgehensweise — Datenunterschied → Leakage → falsche Kennzahl → Drift → Implementierung → Feedback-Loops

Mögliche Ursachen sind nicht repräsentative Offline-Daten, Training-serving Skew, zeitliches Leakage, ein unpassendes Offline-Ziel oder Drift bei Nutzern, Saison, Kanälen, Preisen und Bestand. Das Modell kann außerdem durch seine Entscheidungen künftige Trainingsdaten verändern. Auch Implementierungsfehler sind häufig: fehlende Features, andere Defaults, Latenz-Timeouts, veraltete Features, falsche Schwellen oder Modellversionen. Ich vergleiche Offline- und Online-Verteilungen, Prognosen, Kalibrierung, Segmentleistung, Logs und Geschäftsergebnisse. Danach entscheide ich über Rollback, Threshold-Anpassung, Pipeline-Fix, Retraining oder ein neues Ziel.

Vorgehensweise — Kosten von False Positives gegenüber False Negatives

Precision ist wichtiger, wenn False Positives teuer sind, etwa wenn ein Betrugsmodell ehrliche Kunden blockiert. Recall ist wichtiger, wenn übersehene Positive besonders schaden, etwa bei medizinischem Screening oder schwerem Betrug. Reale Systeme benötigen einen Trade-off. Ich wähle den Schwellenwert nach Geschäftskosten, operativer Kapazität, Nutzerschaden und Folgeprozess und betrachte bei unausgeglichenen Klassen die Precision-Recall-Kurve statt nur einer Kennzahl.

Vorgehensweise — Qualität der Wahrscheinlichkeit, nicht nur der Rangfolge

Ein kalibriertes Modell erzeugt Wahrscheinlichkeiten, die beobachteten Häufigkeiten entsprechen: Von Fällen mit 0,8 sollten ungefähr 80 Prozent positiv sein. Das ist wichtig, wenn Wahrscheinlichkeiten Risiko, Preis, Triage, Review-Queues oder erwarteten Wert steuern. Ein Modell kann gut ranken und dennoch schlecht kalibriert sein. Ich prüfe Reliability Diagrams und Brier Score und kann Platt Scaling, isotone Regression oder Temperature Scaling einsetzen. Die Prüfung muss auf produktionsnahen Validierungsdaten erfolgen. Für reines Ranking ist perfekte Kalibrierung weniger wichtig als für interpretierte Risikowerte.

Vorgehensweise — Kohortenmonat → Aktivitätsmonat → Monatsabstand → aggregieren

Ein Cohort-CTE enthält Nutzer und Anmeldemonat, ein Activity-CTE je Nutzer und qualifizierendem Aktivitätsmonat. Nach dem Join berechne ich den Monatsabstand und zähle eindeutige aktive Nutzer je Kohorte und Abstand. Der Nenner ist die ursprüngliche Kohortengröße; ein LEFT JOIN erhält Monate ohne Retention. Aktivität, Testnutzer, Zeitzone und Monatsgrenzen werden eindeutig definiert. Mehrere Ereignisse je Nutzer und Monat zählen nur einmal. Das Ergebnis ist eine Kohortenmatrix nach Anmeldemonat und Retentionsmonat.

Vorgehensweise — Quantifizieren → segmentieren → Ursache bestimmen → Behandlung wählen

Ich ermittle je Spalte Anzahl, Anteil und Datentyp, etwa mit df.isna().sum() und mean(), und segmentiere nach Zeit, Quelle, Gerät, Region und Zielvariable. Entscheidend ist die Ursache: optionale Eingabe, Tracking-Ausfall, nicht unterstütztes Gerät oder fachlich nicht zutreffender Wert. Je nach Ursache bleiben Fehlwerte als Kategorie, werden imputiert, ausgeschlossen oder bereits in der Quelle behoben. Imputation wird nur auf Trainingsdaten gelernt und auf Validation sowie Test angewandt. Fehlendsein kann selbst prädiktiv sein, kann aber Fairness- oder Compliance-Risiken erzeugen.

Vorgehensweise — Erkennen → Ursache prüfen → nach fachlicher Bedeutung entscheiden

Methoden sind Verteilungen, Boxplots, z-Scores, IQR, Perzentile und modellbasierte Verfahren. Danach prüfe ich Rohdatensatz, Quelle, Zeitpunkt und Segment. Ein negatives Alter ist wahrscheinlich ein Fehler; ein sehr großer Unternehmenskauf kann gültig und für Umsatz besonders wichtig sein. Gültige Ausreißer können Transformation, Winsorisierung, robuste Modelle oder eigene Segmente erfordern. Entfernt werden nur begründbar unmögliche Werte, Duplikate, Instrumentierungsfehler, Testkonten oder Daten außerhalb des Umfangs. Wenn gültige Ausreißer das Ergebnis treiben, zeige ich Sensitivität mit und ohne sie.

Vorgehensweise — Kennzahlenqualität → Funnel → Segmente → Mechanismus → Handlung

Klicks sind möglicherweise nur ein schwacher Proxy. Ich validiere das Ergebnis und untersuche Impression, Klick, Warenkorb, Checkout, Kauf, Erstattung und Wiederkehr. Die Funktion kann Neugier erzeugen, aber vom Kauf ablenken. Ich segmentiere nach Nutzerart, Kanal, Kategorie, Gerät und Oberfläche und prüfe Relevanz, Preise, Bestand, Lieferzeit, Vielfalt, Latenz und Layout. Ein Rollout nur wegen höherer Klickrate wäre falsch. Je nach Ursache rolle ich zurück, begrenze auf gesunde Segmente oder optimiere das Ziel auf nachgelagerte Kaufqualität.

Vorgehensweise — Liquidität → Qualität → Gleichgewicht → Retention → Unit Economics

Kern ist Liquidität: Findet Nachfrage schnell passendes Angebot und erhält Angebot genügend Nachfrage? Kennzahlen hängen vom Marktplatz ab, etwa Match Rate, Wartezeit, Stornos und Auslastung bei Ridesharing oder qualifizierte Gebote, Hire Rate, Abschluss und Wiederbeauftragung bei Freelancing. Ich segmentiere nach Region, Kategorie, Tageszeit, Kohorte, Angebotsstufe und Nachfrageintention, weil Durchschnittswerte lokale Ungleichgewichte verdecken. Schutzkennzahlen sind Sicherheit, Betrug, Qualität, Erstattungen, Churn beider Seiten und Unit Economics. Maßnahmen unterscheiden sich grundlegend danach, ob Angebot oder Nachfrage der Engpass ist.

Vorgehensweise — Nutzerwert → wiederholtes Verhalten → Lernergebnis → Schutzkennzahlen

Die Kennzahl soll nachhaltigen Lernwert statt bloßer Aktivität erfassen. Ein Kandidat sind wöchentlich aktive Lernende, die eine substanzielle Lektion mit ausreichender Genauigkeit abschließen, oder qualitätsgewichtete Lernminuten. Inputs sind Lektionen, Wiederholungen, Sprechübungen und Fortschritt; Outcomes sind Retention, Conversion und messbare Kompetenz. Schutzkennzahlen umfassen Burnout, hastige Abschlüsse, Cheating, deaktivierte Benachrichtigungen und Churn. Gemeinsam mit Product und Learning Science prüfe ich, ob die Kennzahl tatsächlichen Fortschritt und langfristige Bindung vorhersagt.

Vorgehensweise — Ziel → Labels → Features → Kennzahlen → Intervention → Monitoring

Zuerst definiere ich Betrug und die Aktion: blockieren, manuell prüfen, zusätzliche Authentifizierung oder nur Risiko bewerten. Labels stammen etwa aus Chargebacks, bestätigten Fällen und Meldungen, kommen aber verspätet und enthalten Fehler. Features können Betrag, Händler, Gerät, Geografie, Kontoalter, Velocity, Zahlungsverlauf, Fehlversuche und frühere Konflikte umfassen. Ich starte mit Regeln und einfacher Baseline und vergleiche Logistic Regression, Gradient Boosting oder bei schwachen Labels Anomalieverfahren. Evaluation umfasst Precision-Recall, Recall bei fester Review-Kapazität, False-Positive-Rate, erfassten Betrugsbetrag und Kalibrierung. Im Betrieb überwache ich Drift, adversariale Anpassung, Fairness, Latenz, Review-Kapazität, Feedback-Loops und Rollback.

Vorgehensweise — Zieldefinition → verfügbare Features → Kennzahl → Kalibrierung → Nutzerwirkung

Ich definiere entweder die Gesamtdauer von Bestätigung bis Ankunft oder einzelne Komponenten wie Vorbereitung, Fahrerzuweisung, Abholung, Fahrt und Übergabe. Verfügbare Features sind Restaurant, Uhrzeit, Wochentag, Wetter, Entfernung, Fahrerangebot, Rückstand, historische Vorbereitung, Verkehr, Bestellgröße und Zone. Daten, die erst nach dem Prognosezeitpunkt bekannt sind, wären Leakage. MAE ist verständlich, aber Unterschätzung kann stärker schaden als Überschätzung. Für zugesagte Zeitfenster ist Kalibrierung zentral. Monitoring erfolgt nach Restaurant, Zone, Zeit und Kundengruppe und berücksichtigt Feature-Aktualität, neue Restaurants, Feiertage, Wetter und die Wirkung angezeigter ETAs auf Nutzerentscheidungen.

Vorgehensweise — Problem → Methode → Entscheidung → Wirkung → Lernerfahrung

Ich wähle ein Projekt, das eine Entscheidung, ein Produkt, einen Prozess oder eine Kennzahl verändert hat. Nach dem Geschäftsproblem erkläre ich Daten, Methode, Validierung und Trade-offs auf passender Detailstufe. Entscheidend ist die Verbindung zur Handlung, etwa priorisierte Kundenansprache durch ein Churn-Modell oder eine geänderte Einführung nach einem Experiment. Ich quantifiziere Umsatz, Churn, Zeit, Kosten oder Entscheidungsgeschwindigkeit und erkläre Grenzen und nächste Verbesserung. Werkzeuge sind weniger wichtig als Korrektheit, Vertrauen, Nutzung und Wirkung.

Vorgehensweise — Entscheidung → Intuition → Evidenz → Grenzen → Handlung

Ich beginne mit der Entscheidung, nicht der Architektur. Dann erkläre ich in Alltagssprache, was das Modell vorhersagt, welche Signale es nutzt, wie gut es ist und wo es nicht vertraut werden sollte. Beispiele, Reason Codes, Kalibrierung und einfache Trade-off-Diagramme helfen. Unsicherheit, Datenqualität, Bias, Drift und Grenzfälle werden offen benannt. Schließlich verbinde ich Score und Handlung, etwa eine gezielte Retention-Maßnahme für die obersten zehn Prozent, deren zusätzliche Wirkung separat getestet wird.

Vorgehensweise — Erwartung → Evidenz → Kommunikation → Entscheidung → Ergebnis

Ich beschreibe Erwartung, geprüfte Daten und sorgfältige Validierung, damit die abweichende Aussage glaubwürdig ist. In der Kommunikation erkenne ich das Ziel an, zeige Evidenz verständlich, erkläre Unsicherheit und biete Alternativen wie kleineren Test, andere Zielgruppe oder zusätzliche Messung. Ziel ist keine gewonnene Debatte, sondern eine bessere Entscheidung. Ich schließe mit der getroffenen Maßnahme und Lernerfahrung über Einfluss, Vertrauen und Kommunikation, auch wenn die Empfehlung nicht angenommen wurde.