Veri bilimci mülakat rehberi

Çerçeve: İlişki ve nedensel etki ayrımı

Korelasyon, iki değişkenin istatistiksel olarak birlikte hareket etmesi demektir. Nedensellik ise diğer her şey sabitken bir değişkeni değiştirmenin diğerinde de değişime yol açması demektir. Korelasyon tek başına nedenselliği kanıtlamaz; çünkü bu ilişkinin arkasında karıştırıcı değişkenler (confounding), ters nedensellik, seçim yanlılığı ya da tesadüf olabilir. Örneğin daha fazla push bildirimi alan kullanıcıların retention'ı daha yüksek olabilir. Bu, bildirimlerin retention'ı artırdığını kanıtlamaz. Daha aktif kullanıcılar doğal olarak daha fazla bildirim alıyor ya da bildirim tetikleyen olayları daha sık yaşıyor olabilir. Nedenselliği tahmin etmek için randomize bir deneye, doğal deneye, araç değişkene, regresyon süreksizliği tasarımına, farkların farkı yöntemine ya da varsayımları açıkça ortaya konmuş titiz bir nedensel tasarıma ihtiyacımız var. Güçlü bir veri bilimci yanıtı karar riskini de açıklar. Korelasyonu nedensellik gibi yorumlarsak bildirim sayısını artırıp kullanıcılara zarar verebiliriz. Doğru sonraki adım, bildirimlerin etkisini izole eden bir deney ya da nedensel analiz tasarlamaktır.

Çerçeve: Yanlış pozitif ve yanlış negatif

I. tip hata bir yanlış pozitiftir: Sıfır hipotezi aslında doğruyken onu reddetmektir. A/B testinde bu, işe yaramadığı hâlde işe yarıyor gibi görünen bir özelliği canlıya almak anlamına gelir. II. tip hata ise bir yanlış negatiftir: Gerçek bir etki varken sıfır hipotezini reddedememektir. Bu da gerçekten fayda sağlayan bir özelliği gözden kaçırmak demektir. Anlamlılık düzeyi alfa, I. tip hata oranını kontrol eder. 1 - beta olarak tanımlanan güç ise II. tip hatayla ilişkilidir. Örneklem büyüklüğünü artırmak genellikle gücü artırır. Burada bir ödünleşim vardır: Daha katı anlamlılık eşikleri yanlış pozitifleri azaltır, ancak örneklem büyüklüğü buna göre ayarlanmazsa yanlış negatifleri artırabilir. Ürün kararlarında kabul edilebilir hata, maliyete bağlıdır. Riskli bir ödeme adımı değişikliğinde yanlış pozitifler pahalıya patlayabilir. Düşük riskli bir arayüz iyileştirmesinde ise iterasyon hızı önemliyse biraz daha yüksek bir yanlış pozitif riski kabul edilebilir.

Çerçeve: Hipotez → olasılık → belirsizlik

Sıfır hipotezi, paranın hilesiz olduğu, yani tura gelme olasılığının 0,5 olduğudur. Hilesiz bir parayla 10 atışta 8 ya da daha fazla tura gelmesi mümkündür; bu yüzden hemen paranın hileli olduğu sonucuna varmamalıyız. Çift yönlü bir testte en az 8 tura ya da en fazla 2 tura gelen, yani en az bu kadar uç olan sonuçları dikkate alırız. 8, 9 veya 10 tura gelme olasılığı (45 + 10 + 1) / 1024 = 56 / 1024, yani yaklaşık %5,5'tir. Alt kuyruğu da hesaba katmak için bunu ikiyle çarptığımızda yaklaşık %10,9 elde ederiz. Bu değer %5'lik anlamlılık eşiğinin altında değildir. Özetle 10 atış küçük bir örneklemdir. Elde edilen sonuç bir eğilime işaret ediyor ama paranın hileli olduğunu güvenle söylemek için yeterince güçlü bir kanıt değil. Karar önemliyse daha fazla veri toplamalıyız.

Çerçeve: Hipotez → birim → metrikler → koruyucu metrikler → süre → karar

Önce hipotezi tanımlarım. Örneğin: Yeni sıralama algoritması, çeşitliliğe, gecikmeye (latency) ya da uzun vadeli retention'a zarar vermeden daha alakalı içerikler göstererek kullanıcı memnuniyetini artırır. Randomizasyon birimi önemlidir. Kullanıcılar sıralanmış içeriği tekrar tekrar görüyorsa, her kullanıcının tutarlı bir deneyim yaşaması için kullanıcı düzeyinde randomizasyon yaparım. Ağ etkileri ya da pazar yerinde taşma etkileri (spillover) varsa basit kullanıcı düzeyinde randomizasyon yetmeyebilir; küme randomizasyonu ya da dikkatle kurgulanmış holdout grupları gerekebilir. Birincil metrik hedefi yansıtmalı; ürüne göre bu, anlamlı etkileşim, dönüşüm, başarılı oturumlar, ileriki dönem retention'ı ya da gelir olabilir. İkincil metrikler arasında tıklama oranı (CTR), içerikte kalma süresi, kaydetmeler, satın almalar veya gizlemeler yer alabilir. Koruyucu metrikler (guardrail) ise gecikmeyi, şikâyet oranını, çeşitliliği, içerik üreticileri ve satıcılar için adaleti, abonelikten çıkma ya da churn'ü ve manipüle edilebilecek her türlü kalite metriğini kapsamalıdır. Testi haftalık mevsimselliği kapsayacak ve gereken örneklem büyüklüğüne ulaşacak kadar uzun süre çalıştırırım. Canlıya almadan önce yenilik etkisini, segmentler arası farkları, koruyucu metriklerin durumunu ve metrikteki artışın yalnızca istatistiksel olarak değil, pratikte de anlamlı olup olmadığını kontrol ederim.

Çerçeve: Doğrulama → segment güvenilirliği → iş etkisi → yaygınlaştırma stratejisi

Önce segment sonucunun gerçek olduğunu doğrularım. Örneklem büyüklüğüne, güven aralıklarına, segmentlerin önceden tanımlanıp tanımlanmadığına, çoklu test riskine ve yeni kullanıcıların doğru sınıflandırılıp sınıflandırılmadığına bakarım. Gürültülü bir alt grup, kanıt olmadan güçlü bir genel sonucun önüne geçmemeli. Yeni kullanıcılardaki düşüş güvenilirse mekanizmayı anlamaya çalışırım. Özellik, ürünü iyi tanıyan deneyimli kullanıcılara fayda sağlarken yeni kullanıcıların kafasını karıştırıyor olabilir. Yeni kullanıcılar genellikle daha sade bir onboarding'e, daha fazla açıklamaya ya da farklı bir varsayılan ayara ihtiyaç duyar. Önerim etkinin büyüklüğüne ve stratejik önemine bağlı. Yeni kullanıcılar büyüme için kritikse özelliği herkese açmam. Yalnızca mevcut kullanıcılara sunabilir, yeni kullanıcılara özel bir varyant oluşturabilir ya da onboarding değişiklikleriyle bir takip deneyi yürütebilirim. Olumsuz etki küçük ve kısa süreliyse ve uzun vadeli retention artıyorsa, özelliği engellemeden önce konuyu daha ayrıntılı incelerim. Bu yanıt, toplu metrikleri heterojen müdahale etkileri ve iş bağlamıyla dengeleyebildiğinizi göstermeli.

Çerçeve: Benzer kontrol trendine sahip, randomize olmayan müdahale

Farkların farkı yöntemi, randomizasyonun mümkün olmadığı durumlarda işe yarar: Bir grubu etkileyip diğerini etkilemeyen bir politika değişikliği, bölgesel lansman, fiyat değişikliği ya da operasyonel değişiklik gibi. Yöntem, müdahale grubundaki zaman içindeki değişimi kontrol grubundaki zaman içindeki değişimle karşılaştırır. Temel varsayım paralel trendlerdir: Müdahale olmasaydı müdahale ve kontrol grupları benzer şekilde hareket ederdi. Bu varsayımın makul olup olmadığını görmek için müdahale öncesi trendleri incelememiz gerekir. Müdahale grubu zaten farklı bir trend izliyorsa tahmin yanlı olabilir. Örneğin bir özellik Kanada'da yayına alınıyor ama ABD'de alınmıyor. Kanada'daki retention'ın lansman öncesi ve sonrasındaki değişimini, ABD'deki retention'ın aynı dönemdeki değişimiyle karşılaştırırız. Kontrol grubu mevsimselliği ve dış etkenleri yakalıyorsa, değişimler arasındaki fark müdahale etkisini tahmin eder. Sonucu randomize bir deneye kıyasla daha temkinli aktarırım; çünkü nedensel geçerlilik tam olarak kanıtlanamayan varsayımlara dayanır.

Çerçeve: Etiket tanımı → öznitelik oluşturma → baseline → değerlendirme → kontrollü canlıya alma

Önce churn'ü tanımlarım. Abonelik tabanlı bir üründe churn; iptal, ödeme başarısızlığı ya da belirli bir zaman aralığında yenileme yapılmaması anlamına gelebilir. Tahmin anı churn olayından önce olmalı; örneğin aktif bir kullanıcının önümüzdeki 30 gün içinde churn edip etmeyeceğini tahmin etmek gibi. Eğitim veri setini tutarlı bir kesit (snapshot) tarihinde oluştururum. Öznitelikler arasında kullanım sıklığı, son kullanımdan bu yana geçen süre (recency), özellik benimseme, destek talepleri, faturalama sorunları, plan türü, müşteri olarak geçirilen süre, etkileşim trendi, lisans (seat) kullanım oranı ve önceki paket düşürmeler olabilir. Veri sızıntısından kaçınmaya dikkat ederim: Tahmin zaman damgasından sonra oluşan ya da churn sonucunu doğrudan kodlayan öznitelikleri modele dâhil etmem. Yorumlanabilirlik ve performans ihtiyacına göre lojistik regresyon ya da gradient boosting ağaçları gibi basit bir baseline ile başlarım. Değerlendirmede AUC, precision/recall, kalibrasyon, en üst ondalık dilimlerdeki lift ve müdahalelerin iş etkisine bakarım. Churn nadir görülüyorsa doğruluk (accuracy) tek başına çoğu zaman yanıltıcıdır. Canlıya alma, aksiyona dönüştürülebilirlik gerektirir. Churn skoru ancak şirket müdahale edebiliyorsa işe yarar. Model drift'ini, segmentler arası adaleti, müdahalelerin etkinliğini ve modelin gerçekten kurtarılabilecek kullanıcıları belirleyip belirlemediğini izlerim.

Çerçeve: Eğitim verisine uyum ve genelleme

Overfitting (aşırı öğrenme), bir modelin genellenebilir örüntüler yerine eğitim verisindeki gürültüyü ya da kendine özgü tuhaflıkları öğrenmesidir. Model eğitim verisinde iyi, daha önce görmediği veride ise kötü performans gösterir. Overfitting'i azaltma yolları arasında eğitim/doğrulama/test ayrımı, çapraz doğrulama, regularizasyon, daha basit modeller, ağaç budama, erken durdurma (early stopping), sinir ağları için dropout, daha fazla veri, öznitelik seçimi ve doğru hiperparametre ayarı yer alır. Veri sızıntısı mükemmel bir performans gibi görünüp canlı ortamda çökebilir; bu yüzden sızıntı kontrolleri de vazgeçilmezdir. Doğru önlem modele ve probleme göre değişir. Yüksek boyutlu, seyrek bir modelde regularizasyon işe yarayabilir. Gradient boosting ağaçlarında derinlik, öğrenme oranı, ağaç (estimator) sayısı ve erken durdurma önemlidir. Zaman serilerinde ya da kullanıcı davranışı verisinde, gelecekteki veriyle eğitim yapmamak için doğrulama zaman sırasına uymalıdır.

Çerçeve: Yorumlanabilirlik, doğrusal olmama, veri büyüklüğü, performans, canlıya alma

Lojistik regresyon, ikili sınıflandırma için güçlü bir baseline'dır. Hızlıdır, yorumlanabilirdir, kalibre etmesi daha kolaydır ve öznitelik mühendisliğinden sonra ilişkiler kabaca doğrusal olduğunda iyi çalışır. Paydaşların net açıklamalara ihtiyaç duyduğu ya da verinin sınırlı olduğu durumlarda çoğu zaman iyi bir tercihtir. Random forest, doğrusal olmayan ilişkileri ve öznitelik etkileşimlerini o kadar fazla manuel tanımlama gerektirmeden yakalayabilir. Karmaşık tablo verilerinde daha iyi performans gösterebilir; ancak daha az yorumlanabilirdir, servis edilmesi daha ağır olabilir ve eğitim dağılımının dışına iyi ekstrapolasyon yapamayabilir. İkisini aynı eğitim/doğrulama ayrımı, uygun metrikler, kalibrasyon, çıkarım (inference) maliyeti ve iş kısıtları üzerinden karşılaştırırım. Lojistik regresyon neredeyse aynı performansı veriyorsa ve yorumlanabilirlik önemliyse onu seçerim. Random forest anlamlı bir iyileşme sağlıyorsa ve sorumlu bir şekilde açıklanıp canlıya alınabiliyorsa onu kullanırım ya da gradient boosting ağaçlarıyla karşılaştırırım. En iyi yanıt, bir modelin her zaman daha iyi olduğunu söylemek değildir. Seçim amaca, veriye, kısıtlara ve aksiyona dönüştürülebilirliğe bağlıdır.

Çerçeve: Veri uyumsuzluğu → sızıntı → metrik uyumsuzluğu → drift → uygulama → geri besleme döngüleri

Birkaç olası hata kaynağı var. Offline veri seti canlı ortam trafiğiyle örtüşmeyebilir. Özniteliklerin online ortamda offline ortamdakinden farklı hesaplandığı bir training-serving skew olabilir. Doğrulama ayrımı gelecekteki bilgiyi sızdırmış ya da zaman sırasına uymamış olabilir. Offline metrik de ürün hedefiyle uyuşmuyor olabilir. Canlı ortam verisi zamanla kayabilir (drift): Kullanıcı davranışı, mevsimsellik, kullanıcı edinme kanalları, envanter, fiyatlandırma ya da dış olaylar değişebilir. Model ayrıca geri besleme döngüleri de yaratabilir. Örneğin bir öneri modeli kullanıcıların ne gördüğünü değiştirir, bu da gelecekteki eğitim verisini değiştirir. Uygulama kaynaklı sorunlar da sık görülür: Eksik öznitelikler, varsayılan değerler, gecikme kaynaklı zaman aşımları, özniteliklerin güncelliğiyle ilgili sorunlar, hatalı eşik belirleme ya da model sürümü uyumsuzluğu. Toplam offline metrik iyi görünse bile bazı segmentlerde performans zayıf olabilir. Offline ve online öznitelik dağılımlarını, tahmin dağılımlarını, kalibrasyonu, segment metriklerini, logları ve iş sonuçlarını karşılaştırırım. Ardından modeli geri almaya (rollback), eşikleri ayarlamaya, öznitelik pipeline'larını düzeltmeye, modeli yeniden eğitmeye ya da amaç fonksiyonunu yeniden tasarlamaya karar veririm.

Çerçeve: Yanlış pozitiflerin ve yanlış negatiflerin maliyeti

Yanlış pozitifler pahalıysa precision'ı optimize ederim. Örneğin bir dolandırıcılık modeli meşru müşterileri engelliyorsa, yanlış pozitifler hem müşteriye zarar verir hem de gelir kaybına yol açar. Yüksek precision, model bir şeyi işaretlediğinde genellikle haklı çıktığı anlamına gelir. Yanlış negatifler pahalıysa recall'u optimize ederim. Örneğin tıbbi taramada ya da ciddi dolandırıcılık tespitinde gerçek bir pozitifi kaçırmak, fazladan yanlış pozitifleri incelemekten daha maliyetli olabilir. Yüksek recall, modelin gerçek pozitiflerin çoğunu yakaladığı anlamına gelir. Gerçek sistemlerin çoğu bir ödünleşim gerektirir. Eşik; iş maliyetlerine, operasyonel kapasiteye, kullanıcıya verilen zarara ve sonraki iş akışına göre seçilmelidir. Özellikle dengesiz sınıflarda genellikle tek bir eşiğe değil, precision-recall eğrilerine bakarım.

Çerçeve: Yalnızca sıralama kalitesi değil, olasılık kalitesi

Kalibrasyon, tahmin edilen olasılıkların gözlenen sıklıklarla örtüşmesi demektir. Kalibre bir model 1.000 örneğe 0,8 olasılık atıyorsa, bunların yaklaşık 800'ünün gerçekten pozitif olması gerekir. Kalibrasyon, olasılıkların kararları yönlendirdiği durumlarda önemlidir: Risk skorlama, fiyatlandırma, tıbbi triyaj, dolandırıcılık inceleme kuyrukları, churn müdahaleleri ya da beklenen değer hesaplamaları gibi. Bir model yüksek AUC ile örnekleri iyi sıralayıp yine de kötü kalibre edilmiş olasılıklar üretebilir. Kalibrasyonu, kalibrasyon eğrileri veya güvenilirlik diyagramlarıyla ve Brier skoru gibi metriklerle inceleyebiliriz. Kalibrasyon yöntemleri arasında Platt scaling, izotonik regresyon ve temperature scaling bulunur. Ancak kalibrasyon, canlı ortam dağılımını yansıtan doğrulama verisi üzerinde kontrol edilmelidir. Mülakatta her uygulamanın mükemmel kalibre edilmiş olasılıklara ihtiyaç duymadığını vurgulayın. Model yalnızca içerikleri sıralıyorsa sıralama metrikleri daha önemli olabilir. Ama sayı bir risk olarak yorumlanıyorsa kalibrasyon kritik hâle gelir.

Çerçeve: Kohort ayı → aktivite ayı → ay farkı → toplulaştırma

Her kullanıcıyı ve kayıt olduğu ayı içeren bir kohort CTE'si oluştururum. Aktif sayılan olaylar için tekil user_id ve aktivite ayını içeren bir aktivite CTE'si oluştururum. Aktiviteyi user_id üzerinden kohorta join ederim, ardından month_number'ı aktivite ayı ile kayıt ayı arasındaki fark olarak hesaplarım. Kohort ayı ve month_number'a göre gruplayıp tekil aktif kullanıcıları sayarım. Payda, orijinal kohorttaki kullanıcı sayısıdır. N. ay için pay, o kohorttan N. ayda aktif olan kullanıcılardır. Elde tutulan kullanıcının sıfır olduğu ayları da korumam gerekiyorsa left join kullanırım. Önemli ayrıntılar: Aktif olayı tanımlamak, test kullanıcılarını hariç tutmak, ay sınırlarına yakın kayıt olan kullanıcıları ele almak, tutarlı bir saat dilimi kullanmak ve aynı kullanıcı-ay için birden fazla aktivite olayını saymaktan kaçınmak. Sonuç, her satırın bir kayıt ayı, her sütunun ya da satır ofsetinin ise bir retention ayı olduğu bir kohort tablosu olmalıdır.

Çerçeve: Ölçüm → segmentasyon → teşhis → yöntem seçimi

Önce eksikliği sütun bazında ölçerim: Sayısı, yüzdesi ve veri tipi. pandas'ta df.isna().sum() ve df.isna().mean() hızlı bir profil çıkarır. Ardından eksikliğin zamana, segmente, kaynağa, cihaza, coğrafyaya ya da hedef etikete göre yoğunlaşıp yoğunlaşmadığına bakarım. Asıl soru, değerlerin neden eksik olduğudur. Tamamen rastgele eksiklik ile kullanıcının bir alanı atlaması, izlemenin (tracking) başarısız olması, bir cihazın ilgili olayı desteklememesi ya da değerin o durum için geçerli olmaması nedeniyle oluşan eksiklik birbirinden farklıdır. Uygulanacak yöntem nedene ve modelin ihtiyaçlarına bağlıdır. Seçenekler arasında eksik değeri ayrı bir kategori olarak tutmak, medyan ya da mod ile doldurmak, model tabanlı doldurma (imputation) kullanmak, satırları çıkarmak ya da veri toplama sürecini kaynağında düzeltmek var. Modelleme yaparken sızıntıyı önlemek için doldurma yöntemini yalnızca eğitim verisi üzerinde fit eder, doğrulama ve test verisine aynı şekilde uygularım. Eksikliğin kendisinin tahmin gücü taşıyıp taşımadığını da değerlendiririm. Örneğin bir kredi veri setinde eksik gelir bilgisi ya da bir tüketici ürününde eksik profil alanları sinyal taşıyabilir; ancak bunu kullanmak adalet veya mevzuata uyum açısından soru işaretleri doğurabilir.

Çerçeve: Tespit → teşhis → iş anlamına göre karar

Aykırı değer tespit yöntemleri arasında özet istatistikler, histogramlar, kutu grafikleri, z-skorları, IQR kuralları, yüzdelik eşikleri ve model tabanlı yaklaşımlar var. Ama tespit yalnızca ilk adım. Asıl soru, aykırı değerin bir hata mı, nadir ama geçerli bir durum mu, yoksa dağılımın en önemli parçası mı olduğu. Aykırı değerleri kaynağa, zaman damgasına, segmente ve ham kayıtlara göre incelerim. Negatif bir yaş büyük ihtimalle veri hatasıdır. Çok büyük bir kurumsal satın alma ise geçerli olabilir ve gelir analizinden gerekçesiz çıkarılmamalıdır. Modellemede aykırı değerler dönüşüm, winsorization, dayanıklı (robust) modeller ya da segmente özel yaklaşımlar gerektirebilir. Aykırı değerleri yalnızca savunulabilir bir gerekçe varsa çıkarırım: İmkânsız bir değer, mükerrer olay, ölçümleme (instrumentation) hatası, test hesabı ya da analiz kapsamı dışındaki kayıtlar. Geçerli aykırı değerler sonucu etkiliyorsa, sonuçları bu değerlerle ve bu değerler olmadan raporlayarak duyarlılığı gösteririm.

Çerçeve: Metrik kalitesi → huni teşhisi → segmentasyon → mekanizma → aksiyon

Tıklamalar değerin zayıf bir göstergesi (proxy) olabilir. Önce sonucu doğrular ve huniyi tanımlarım: Gösterimler, tıklamalar, sepete ekleme, ödeme adımı, satın alma, iadeler ve tekrar eden davranış. Tıklamalar artıp satın almalar düştüyse öneriler, satın alma niyeti olmayan bir merak uyandırıyor ya da kullanıcıları daha iyi yollardan uzaklaştırıyor olabilir. Kullanıcı tipine, trafik kaynağına, ürün kategorisine, cihaza ve önerinin gösterildiği yüzeye göre segmentlere ayırırım. Yeni kullanıcılar modül göze çarptığı için daha çok tıklıyor ama alakasız ürünlerle karşılaşıyor olabilir. Geri dönen kullanıcıların ise alışık oldukları satın alma akışı bozulmuş olabilir. Öneri kalitesini incelerim: Alaka düzeyi, fiyat uyumsuzluğu, bulunabilirlik, teslimat süresi, çeşitlilik ve önerilen ürünlerin stokta olmayan ya da düşük marjlı ürünler olup olmadığı. Gecikmeyi ve sayfa düzeninde yapılan değişiklikleri de kontrol ederim. Önerim şu: Yalnızca tıklamalara bakarak canlıya almamalıyız. Ya geri almalı, ya kapsamı satın almaların sağlıklı olduğu segmentlerle sınırlamalı ya da amaç fonksiyonunu tıklama oranı yerine sonraki aşamalardaki satın alma kalitesini optimize edecek şekilde yeniden tasarlamalıyız.

Çerçeve: Likidite → kalite → denge → retention → birim ekonomisi

Pazar yerinin sağlığı her iki tarafa da bağlıdır. Temel kavram likiditedir: Talep uygun arzı hızla bulabiliyor mu, arz da aktif kalmaya yetecek kadar talep bulabiliyor mu? Metrikler pazar yerinin türüne göre değişir. Araç paylaşımında: Eşleşme oranı, eşleşme süresi, tahmini varış süresi (ETA), iptal oranı, sürücü kullanım oranı, yolcuların tekrar kullanım oranı, dinamik fiyatlandırma (surge) sıklığı ve coğrafi kapsama. Freelance pazar yerlerinde: Nitelikli teklif alan işlerin yüzdesi, ilk teklife kadar geçen süre, işe alım oranı, proje tamamlama, anlaşmazlık oranı, tekrar işe alım ve hizmet sağlayıcıların kullanım oranı. Coğrafyaya, kategoriye, günün saatine, kullanıcı kohortuna, arz katmanına ve talep niyetine göre segmentlere ayırırım. Pazar yeri ortalamaları yerel dengesizlikleri gizler. Bir pazar yeri genel olarak sağlıklı görünürken belirli bir şehirde ya da kategoride başarısız oluyor olabilir. Koruyucu metrikler arasında güven ve güvenlik, dolandırıcılık, kalite şikâyetleri, iadeler, her iki taraftaki churn ve birim ekonomisi yer alır. Öneriler, kısıtlı olan tarafın arz mı yoksa talep mi olduğunu ortaya koymalıdır; çünkü büyüme kaldıraçları bu iki durumda tamamen farklıdır.

Çerçeve: Kullanıcı değeri → tekrarlanan davranış → öğrenme çıktısı → koruyucu metrikler

North Star metriği yalnızca aktiviteyi değil, kalıcı kullanıcı değerini yakalamalıdır. Bir dil öğrenme uygulamasında tek başına günlük oturum sayısı fazla yüzeysel kalabilir; çünkü kullanıcılar uygulamayı bir şey öğrenmeden de açabilir. Daha iyi bir aday, anlamlı bir dersi yeterli doğrulukla tamamlayan haftalık aktif öğrenen sayısı ya da kalite kriterlerini karşılayan haftalık öğrenme dakikası olabilir. Temel değeri göz önünde bulundururum: Kullanıcıların bir dilde ilerlemesine yardımcı olmak. Girdi metrikleri arasında ders başlatma, ders tamamlama, seriler (streak), doğruluk, tekrar alıştırmalarını tamamlama, konuşma pratiği ve seviye ilerlemesi olabilir. Çıktı metrikleri arasında retention, ücretli aboneliğe dönüşüm, seviye tespit sonuçlarındaki iyileşme ya da varsa harici yeterlilik değerlendirmeleri yer alabilir. Koruyucu metrikler: Tükenmişlik, düşük kaliteli aceleci ders tamamlamalar, kopya çekme, bildirimleri kapatma, churn ve kullanıcı hayal kırıklığı. Metrik yalnızca daha fazla zaman harcamayı ödüllendiriyorsa öğrenmek yerine mekanik biçimde zaman doldurmayı teşvik edebilir. North Star metriğini ürün ve öğrenme bilimi paydaşlarıyla birlikte tanımlar, ardından retention'ı ve kullanıcıların kendi bildirdiği ilerlemeyi öngörüp öngörmediğini doğrularım.

Çerçeve: Amaç → etiketler → öznitelikler → metrikler → müdahale → izleme

Önce dolandırıcılığı ve alınacak aksiyonu tanımlarım. İşlemleri engelleyecek miyiz, manuel incelemeye mi göndereceğiz, ek kimlik doğrulama (step-up authentication) mı isteyeceğiz, yoksa yalnızca risk skoru mu üreteceğiz? Modelin amacı müdahaleyle örtüşmeli; çünkü yanlış pozitifler meşru müşterilere zarar verebilir. Etiketler ters ibrazlardan (chargeback), doğrulanmış dolandırıcılık soruşturmalarından, kullanıcı bildirimlerinden ya da kural tabanlı işaretlerden gelebilir. Etiketler gecikmeli ve kusurludur; bu yüzden etiket gecikmesini ve gürültüsünü hesaba katmak gerekir. Öznitelikler arasında işlem tutarı, üye iş yeri, cihaz, IP/coğrafya uyumsuzluğu, hesap yaşı, işlem hızı (velocity), ödeme yöntemi geçmişi, başarısız denemeler, teslimat mesafesi ve önceki itirazlar olabilir. Kurallar ve basit bir baseline ile başlar, ardından etiket kalitesine göre lojistik regresyon, gradient boosting ağaçları ya da anomali tespiti gibi modelleri karşılaştırırım. Değerlendirmede precision-recall, sabit inceleme kapasitesindeki recall, meşru kullanıcılar için yanlış pozitif oranı, dolar ağırlıklı yakalanan dolandırıcılık ve kalibrasyon öne çıkmalı. Canlıya alma; drift'in, kötü niyetli aktörlerin kendini uyarlamasının, adaletin, gecikmenin, manuel inceleme kapasitesinin ve geri besleme döngülerinin izlenmesini, ayrıca bir geri alma planını gerektirir. Dolandırıcılık modeli yalnızca bir tahmin problemi değil, operasyonel bir sistemdir.

Çerçeve: Hedef tanımı → öznitelik erişilebilirliği → metrik → kalibrasyon → kullanıcı etkisi

Hedefi, sipariş onayından teslimata kadar geçen gerçek süre olarak tanımlarım ya da bileşenlerine ayırırım: Hazırlık süresi, kurye ataması, teslim alma süresi, yolculuk süresi ve teslim. Bileşen bazında modelleme daha yorumlanabilir ve operasyonel açıdan daha kullanışlı olabilir. Tahmin anında erişilebilen öznitelikler arasında restoran, mutfak türü, günün saati, haftanın günü, hava durumu, mesafe, kurye arzı, mevcut sipariş yoğunluğu, geçmiş hazırlık süreleri, trafik, sipariş büyüklüğü ve coğrafi bölge olabilir. Tahmin anında bilinmeyen öznitelikleri kullanmaktan kaçınırım; örneğin tahmin sipariş verildiği anda yapılıyorsa gerçek teslim alma zamanını kullanmam. Metrikler kullanıcı deneyimini yansıtmalı. MAE kolay yorumlanır, ancak süreyi olduğundan kısa tahmin etmek uzun tahmin etmekten daha kötü olabilir. Kalibrasyon önemlidir: Bir teslimat aralığı taahhüt ediyorsak, siparişlerin beklenen oranda bu aralık içinde ulaşması gerekir. Canlıya almada dikkat edilmesi gerekenler arasında gecikme, gerçek zamanlı özniteliklerin güncelliği, yeni restoranlardaki soğuk başlangıç, tatiller, ani hava değişimleri ve gösterilen ETA'nın kullanıcı kararlarını etkilemesinden kaynaklanan geri besleme döngüleri var. Hatayı restoran, bölge, zaman ve müşteri segmenti bazında izlerim.

Çerçeve: Problem → yöntem → karar → etki → çıkarılan ders

Çalışmanızın bir kararı, ürünü, süreci ya da metriği değiştirdiği bir proje seçin. İş problemiyle ve bu problemin neden önemli olduğuyla başlayın. Ardından yönteminizi doğru ayrıntı düzeyinde anlatın: Veri kaynakları, analiz ya da model, doğrulama ve yaptığınız ödünleşimler. En güçlü yanıt, teknik çalışmayı iş aksiyonuna bağlar. Örneğin bir churn modeli müşteri başarısı ekibinin hangi müşterilere öncelikle ulaşacağını belirlemesine yardımcı olmuştur, bir deney lansman kararını değiştirmiştir ya da bir fiyatlandırma analizi dönüşüme zarar vermeden geliri artırmıştır. Mümkünse etkiyi sayılarla ifade edin: Gelir artışı, churn'de azalma, kazanılan zaman, maliyet düşüşü, daha isabetli hedefleme ya da hızlanan karar süreçleri. Kısıtları ve bir sonraki adımda neyi iyileştireceğinizi de açıklayın. Yanıtınızı bir araç turuna dönüştürmeyin. Mülakatçı hangi kütüphaneyi kullandığınızdan çok, çalışmanızın doğru, güvenilir, benimsenmiş ve faydalı olup olmadığıyla ilgilenir.

Çerçeve: Karar → sezgi → kanıt → kısıtlar → aksiyon

Model mimarisiyle değil, paydaşın vermesi gereken kararla başlarım. Ardından modelin mantığını sade bir dille anlatırım: Neyi tahmin ettiğini, hangi sinyalleri kullandığını, ne kadar isabetli olduğunu ve hangi durumlarda ona güvenilmemesi gerektiğini. Uygun olduğunda örnekler, öznitelik önemi ya da gerekçe kodları, kalibrasyon grafikleri ve precision ile recall karşılaştırması gibi basit ödünleşim grafikleri kullanırım. Modeli sihirli bir şeymiş gibi sunmaktan kaçınırım. Paydaşların kısıtları anlaması gerekir: Veri kalitesi, belirsizlik, yanlılık, drift ve uç durumlar. Son olarak modeli aksiyona bağlarım. Örneğin: “Bu model, churn etme olasılığı en yüksek %10'luk hesap dilimini belirliyor; ama asıl değer, bu gruba yapılan iletişimin retention'ı artırıp artırmadığını test etmekten geliyor.” Böylece konuşma kararlara ve sonuçlara odaklanmış olur.

Çerçeve: Beklenti → kanıt → iletişim → karar → sonuç

Kanıtların tercih edilen bir planı sorguladığı gerçek bir örnek seçin. Paydaşların ne beklediğini, hangi verileri analiz ettiğinizi ve sonucun neden farklı çıktığını açıklayın. Doğrulama konusunda somut olun; çünkü bu tür durumlarda güvenilirlik belirleyicidir. Ardından bulguyu nasıl aktardığınızı anlatın. Güçlü yanıtlar diplomasi becerisini gösterir: Paydaşın hedefini kabul etmek, kanıtı net biçimde sunmak, belirsizliği açıklamak ve alternatifler önermek. Amaç tartışmayı kazanmak değil, ekibin daha iyi bir karar vermesine yardımcı olmaktır. Sonuçla bitirin. Belki ekip lansmanı erteledi, hedeflemeyi değiştirdi, daha küçük bir test yürüttü ya da farklı bir metrik seçti. Paydaşlar önerinizi dikkate almadıysa ne olduğunu ve ikna ile iletişim konusunda ne öğrendiğinizi paylaşın.