資料科學家面試指南

框架: 相關性與因果效應

相關是指兩個變數在統計上會一起變動；因果則是在其他條件不變下，改變其中一個變數，會帶動另一個變數跟著改變。單憑相關性無法證明因果，因為這個關係可能來自干擾因子、反向因果、選擇偏誤，或純屬巧合。 舉例來說，收到較多推播通知的使用者，留存率可能比較高，但這並不能證明是通知帶來了留存。比較活躍的使用者，本來就可能收到更多通知，或觸發更多值得發送通知的事件。要估計因果效應，我們需要隨機化實驗、自然實驗、工具變數、斷點迴歸、差異中的差異法，或是在明確假設下審慎設計的因果分析。 好的資料科學家回答，還會說明決策上的風險。如果把相關當成因果，我們可能會增加通知量，結果反而傷害使用者。正確的下一步，是設計實驗或因果分析，把通知本身的效果獨立出來。

框架: 偽陽性與偽陰性

型一錯誤是偽陽性：虛無假設其實為真，卻拒絕了它。在 A/B 測試中，就是功能看起來有幫助、實際上沒有，卻還是上線了。型二錯誤是偽陰性：明明有真實的效果，卻沒有拒絕虛無假設，也就是錯過了一個真正有幫助的功能。 顯著水準 α 控制型一錯誤率；檢定力（也就是 1 - β）則和型二錯誤有關。一般來說，加大樣本數可以提高檢定力。這中間有取捨：顯著門檻訂得越嚴格，偽陽性越少，但如果樣本數沒有跟著調整，偽陰性就可能變多。 在產品決策中，可接受的錯誤取決於代價。像結帳流程這類高風險的改動，偽陽性的代價可能很高；如果是低風險的 UI 改善，而迭代速度又很重要，稍微高一點的偽陽性風險或許可以接受。

框架: 假設 → 機率 → 不確定性

虛無假設是硬幣公正，也就是出現正面的機率為 0.5。公正的硬幣擲 10 次，出現 8 次以上正面也是有可能的，所以不該馬上斷定它不公正。 如果用雙尾檢定，要考慮至少和「8 次正面」或「2 次正面」一樣極端的結果。出現 8、9 或 10 次正面的機率是 (45 + 10 + 1) / 1024 = 56 / 1024，約 5.5%。把另一側的尾端也算進來、乘以 2 之後，約為 10.9%，並沒有低於 5% 的顯著門檻。 結論是：擲 10 次的樣本很小。這個結果有一點暗示性，但證據還不夠強，無法有把握地說這枚硬幣不公正。如果這個決策很重要，就應該再蒐集更多資料。

框架: 假設 → 隨機化單位 → 指標 → 護欄指標 → 實驗期間 → 決策

首先定義假設。例如：新的排序演算法能呈現更相關的內容，提升使用者滿意度，同時不損害多樣性、延遲或長期留存。 隨機化單位很重要。如果使用者會反覆看到排序後的內容，就應該以使用者為單位做隨機分組，讓每位使用者都有一致的體驗。如果存在網路效應或市集的外溢效應，單純以使用者分組可能不夠，就需要群集隨機化，或審慎設計的保留組（holdout）。 主要指標應該反映目標：依產品不同，可以是有意義的互動、轉換、成功的 session、後續留存或營收。次要指標可能包括點擊率、停留時間、收藏、購買或隱藏。護欄指標應該涵蓋延遲、客訴率、多樣性、對創作者或賣家的公平性、取消訂閱或流失，以及任何可能被刻意操弄的品質指標。 測試要跑得夠久，涵蓋每週的週期性變化，並達到所需的樣本數。上線前，要檢查新奇效應、各分群的差異、護欄指標是否正常，以及指標的提升在實務上是否有意義，而不只是統計上顯著。

框架: 驗證 → 分群可靠性 → 商業影響 → 推出策略

首先要確認這個分群結果是真的。檢查樣本數、信賴區間、這個分群是否事先定義、多重檢定的風險，以及新使用者是否被正確分類。在沒有證據的情況下，一個雜訊很大的子群體，不應該推翻強而有力的整體結果。 如果新使用者的下降確實可靠，就要理解背後的機制。這個功能也許對熟悉產品的資深使用者有幫助，卻讓新使用者感到困惑。新使用者通常需要更簡單的新手引導、更多說明，或不同的預設設定。 建議取決於影響幅度與策略上的重要性。如果新使用者對成長至關重要，我不會全面上線。我可能只對既有使用者推出、為新使用者設計專屬版本，或搭配新手引導的調整，再做一次後續實驗。如果負面效果很小、只是短期現象，而長期留存反而提升，我會先深入調查，而不是直接擋下。 這個回答要展現你能在整體指標、異質性處理效果與商業脈絡之間取得平衡。

框架: 非隨機分派的處理，搭配趨勢可比較的對照組

當無法隨機分組時，差異中的差異法（difference-in-differences）就很好用，例如政策調整、分區推出、價格調整，或只影響某一群、不影響另一群的營運變動。它比較的是處理組隨時間的變化，以及對照組隨時間的變化。 關鍵假設是平行趨勢：如果沒有處理，處理組和對照組的走勢應該相近。我們應該檢查處理前的趨勢，看這個假設是否合理。如果處理組原本的趨勢就不一樣，估計值可能會有偏誤。 舉例來說，某個功能在加拿大上線，美國則沒有。我們比較加拿大上線前後的留存率，以及美國在同一段期間前後的留存率。如果對照組能反映季節性與外部因素，這兩個變化之間的差異，就可以用來估計處理效果。 溝通這類結果時，我會比隨機化實驗更保守，因為它的因果效度取決於無法完全證明的假設。

框架: 定義標籤 → 建立特徵 → 基準模型 → 評估 → 審慎部署

首先定義流失。以訂閱制產品來說，流失可能是指取消訂閱、付款失敗，或在一段時間內沒有續訂。預測的時間點必須早於流失事件，例如預測某位活躍使用者在未來 30 天內是否會流失。 在一致的快照日期建立訓練資料集。特徵可以包括使用頻率、最近一次使用時間、功能採用狀況、客服工單、帳務問題、方案類型、使用年資、互動趨勢、席位使用率，以及過去的降級紀錄。要小心避免資料洩漏：不要放入發生在預測時間點之後的特徵，或直接隱含流失結果的特徵。 先從簡單的基準模型開始，依可解釋性與效能需求，選擇邏輯斯迴歸或梯度提升樹。評估時看 AUC、精確率與召回率、校準、前幾個十分位的提升度（lift），以及介入措施的商業影響。如果流失很少見，單看準確率往往會產生誤導。 部署時，結果必須能付諸行動。流失分數只有在公司能採取介入措施時才有用。要監控模型漂移、各分群間的公平性、介入措施的成效，以及模型找出的使用者是否真的救得回來。

框架: 訓練擬合度與泛化能力

過度擬合是指模型學到的是訓練資料中的雜訊或特殊現象，而不是能夠泛化的規律。它在訓練資料上表現很好，在沒看過的資料上卻表現很差。 降低過度擬合的方法包括：切分訓練集、驗證集與測試集、交叉驗證、正規化、使用較簡單的模型、決策樹剪枝、提前停止（early stopping）、神經網路使用 dropout、增加資料量、特徵選擇，以及適當的超參數調校。資料洩漏可能讓模型看起來表現極佳，上線後卻失靈，所以檢查資料洩漏同樣不可少。 適合的預防方式取決於模型與問題。對高維度的稀疏模型，正規化可能有幫助；對梯度提升樹來說，樹的深度、學習率、估計器數量與提前停止都很關鍵；至於時間序列或使用者行為資料，驗證時必須遵守時間順序，才不會拿未來的資料來訓練。

框架: 可解釋性、非線性、資料量、效能、部署

邏輯斯迴歸是二元分類很強的基準模型。它速度快、可解釋、比較容易校準，而且在特徵工程之後，如果變數關係大致呈線性，效果會很好。當利害關係人需要清楚的解釋，或資料量有限時，它通常是不錯的選擇。 隨機森林不需要那麼多人工設定，就能捕捉非線性關係與特徵之間的交互作用。在複雜的表格型資料上，它的表現可能更好，但可解釋性較低、部署時模型可能比較大，而且在訓練資料分配範圍之外，外推能力可能不佳。 我會用相同的訓練集與驗證集切分、合適的指標、校準、推論成本與商業限制來比較兩者。如果邏輯斯迴歸的表現幾乎一樣好，而可解釋性又很重要，就選它。如果隨機森林帶來有意義的提升，而且能被負責任地解釋與部署，就採用它，或再拿來和梯度提升樹比較。 最好的回答不是說某個模型永遠比較好，而是要看目標、資料、限制，以及結果能否付諸行動。

框架: 資料不一致 → 資料洩漏 → 指標不一致 → 漂移 → 實作問題 → 回饋循環

可能的失效原因有好幾種。離線資料集可能和線上流量不一致；可能有訓練與服務偏差（training-serving skew），也就是線上和離線計算特徵的方式不同；驗證切分可能洩漏了未來的資訊，或沒有遵守時間順序；離線指標也可能和產品目標不一致。 線上資料可能產生漂移：使用者行為、季節性、使用者來源管道、商品庫存、價格或外部事件都可能改變。模型也可能形成回饋循環。例如推薦模型改變了使用者看到的內容，而這又會改變未來的訓練資料。 實作問題也很常見：特徵缺漏、預設值、延遲逾時、特徵新鮮度問題、門檻設定錯誤，或模型版本不一致。即使整體的離線指標看起來不錯，某些分群的表現也可能很差。 我會比較離線與線上的特徵分配、預測值分配、校準、分群指標、log 紀錄與商業成果，再決定要 rollback、調整門檻、修正特徵管線、重新訓練，還是重新設計目標。

框架: 偽陽性與偽陰性的代價

當偽陽性的代價很高時，就最佳化精確率。例如詐欺模型如果擋下正常顧客，偽陽性就會傷害顧客，並造成營收損失。高精確率代表模型標記出來的案例，通常都是對的。 當偽陰性的代價很高時，就最佳化召回率。例如在醫療篩檢或嚴重詐欺偵測中，漏掉一個真陽性，可能比多調查幾個偽陽性的代價更高。高召回率代表模型能抓到大部分真正的陽性案例。 大多數真實系統都需要取捨。門檻應該根據商業成本、營運量能、對使用者的傷害，以及下游流程來決定。我通常會看精確率–召回率曲線，而不只看單一門檻，尤其是在類別不平衡的情況下。

框架: 看的是機率的品質，而不只是排序的品質

校準是指模型預測的機率和實際觀察到的頻率一致。如果一個校準良好的模型，對 1,000 筆樣本都給出 0.8 的機率，那麼實際上應該約有 800 筆是陽性。 當機率會驅動決策時，校準就很重要，例如風險評分、定價、醫療檢傷分類、詐欺審查佇列、流失介入，或期望值計算。模型可能排序能力很好、AUC 很高，產生的機率卻校準得很差。 我們可以檢查校準曲線或可靠度圖，以及 Brier score 等指標。校準方法包括 Platt scaling、isotonic regression 與 temperature scaling。不過，校準必須在能反映線上資料分配的驗證資料上檢查。 面試時要強調，並不是每個應用都需要完美校準的機率。如果模型只是用來排序內容，排序指標可能更重要；如果這個數字會被解讀為風險，校準就變得至關重要。

框架: Cohort 月份 → 活躍月份 → 月份差 → 彙總

先建立一個 cohort CTE，列出每位使用者和他的註冊月份。再建立一個 activity CTE，針對符合條件的活躍事件，取不重複的 user_id 與活躍月份。用 user_id 把 activity 和 cohort join 起來，再把活躍月份減去註冊月份，算出 month_number。最後依 cohort 月份與 month_number 分組，計算不重複的活躍使用者數。 分母是原始 cohort 的使用者數；第 N 個月的分子，是這個 cohort 中在第 N 個月仍然活躍的使用者數。如果需要保留留存人數為零的月份，就用 left join。 重要細節包括：定義什麼算活躍事件、排除測試使用者、處理在月份交界附近註冊的使用者、使用一致的時區，並避免同一位使用者在同一個月有多筆活躍事件時被重複計算。結果應該是一張 cohort 表，每一列代表一個註冊月份，每一欄或每個列偏移量代表留存月份。

框架: 量化 → 分群 → 診斷 → 決定處理方式

我會先逐欄量化缺失狀況：缺失筆數、比例與資料型別。在 pandas 中，df.isna().sum() 和 df.isna().mean() 可以快速看出概況。接著我會檢查缺失是否集中在特定時間、分群、資料來源、裝置、地區或目標標籤。 關鍵問題是：為什麼會缺失？完全隨機缺失，和因為使用者略過某個欄位、追蹤失敗、某些裝置不支援某個事件，或該值根本不適用而造成的缺失，是完全不同的情況。 處理方式取決於原因與模型需求。選項包括把缺失值當成獨立類別、用中位數或眾數填補、用模型做填補、排除這些列，或從上游修正資料蒐集。建模時，我只會在訓練資料上配適填補方法，再套用到驗證集與測試集，以避免資料洩漏。 我也會評估缺失本身是否具有預測力。例如信用資料集中缺少收入，或消費型產品中個人檔案欄位缺漏，都可能帶有訊號，但使用它可能會引發公平性或法規遵循上的疑慮。

框架: 偵測 → 診斷 → 依商業意義決定

偵測離群值的方法包括摘要統計、直方圖、盒鬚圖、z 分數、IQR 規則、百分位數門檻，以及以模型為基礎的方法。但偵測只是第一步，重要的是判斷這個離群值是錯誤、罕見但有效的案例，還是整個分配中最關鍵的部分。 我會依資料來源、時間戳記、分群與原始紀錄來檢查離群值。年齡是負數，很可能是資料錯誤；一筆金額非常大的企業採購則可能是有效的，在營收分析中不應該沒有理由就移除。建模時，離群值可能需要做轉換、縮尾處理（winsorization）、使用穩健模型，或針對特定分群處理。 只有在理由站得住腳時，才移除離群值，例如不可能出現的數值、重複事件、事件追蹤程式錯誤、測試帳號，或超出分析範圍的紀錄。如果有效的離群值會影響結論，就要報告納入與排除它們時的敏感度分析。

框架: 指標品質 → 漏斗診斷 → 分群 → 機制 → 行動

點擊可能只是衡量價值的薄弱替代指標。首先要確認結果，並定義漏斗：曝光、點擊、加入購物車、結帳、購買、退款，以及回購行為。如果點擊增加、購買卻減少，可能是推薦內容引起了好奇，卻沒有購買意圖，或是讓使用者偏離了原本更好的路徑。 依使用者類型、流量來源、商品類別、裝置與推薦版位做分群。新使用者可能因為模組很顯眼而點得更多，卻發現推薦的商品不相關；回訪使用者則可能被打斷原本的購買流程。 檢查推薦品質：相關性、價格落差、供貨狀況、配送時間、多樣性，以及推薦的商品是否缺貨或毛利偏低。也要檢查延遲與頁面版面的變動。 建議：不要只憑點擊數就上線。可以 rollback、只對購買表現健康的分群開放，或是重新設計目標，改為最佳化下游的購買品質，而不是點擊率。

框架: 流動性 → 品質 → 供需平衡 → 留存 → 單位經濟效益

市集平台的健康取決於供需兩端。核心概念是流動性：需求方能否快速找到合適的供給？供給方能否獲得足夠的需求，持續留在平台上？ 指標依市集類型而定。以叫車平台來說：媒合率、媒合所需時間、預估到達時間（ETA）、取消率、司機利用率、乘客回訪率、動態加價頻率，以及地理涵蓋範圍。以接案平台來說：收到合格提案的案件比例、收到第一個提案所需時間、成交率、專案完成率、糾紛率、重複雇用率，以及接案者利用率。 依地區、類別、時段、使用者 cohort、供給層級與需求意圖做分群。市集的平均值會掩蓋局部的供需失衡；整體看起來健康的市集，可能在某個城市或某個類別其實出了問題。 護欄指標包括信任與安全、詐欺、品質客訴、退款、任一端的流失，以及單位經濟效益。提出建議時，要先判斷受限的是供給端還是需求端，因為兩者的成長槓桿完全不同。

框架: 使用者價值 → 重複行為 → 學習成果 → 護欄指標

北極星指標應該反映持久的使用者價值，而不只是活躍度。對語言學習 App 來說，單看每日使用次數可能太淺，因為使用者可能打開 App 卻沒有真正學習。更好的候選指標，可能是「每週完成一堂有意義的課程、且正確率達標的活躍學習者數」，或是「符合品質標準的每週學習分鐘數」。 我會從核心價值出發：幫助使用者在語言能力上真正進步。輸入指標可以包括開始課程數、完成課程數、連續天數、正確率、複習完成度、口說練習與等級晉升。成果指標可以包括留存、訂閱轉換、分級測驗的進步，或在有資料的情況下，參考外部語言能力檢定。 護欄指標：倦怠、草率快速完成的低品質學習、作弊、關閉通知、流失，以及使用者的挫折感。如果指標只獎勵花更多時間，可能會鼓勵大家硬刷時數，而不是真正學習。 我會和產品與學習科學領域的利害關係人一起定義北極星指標，再驗證它是否能預測留存，以及使用者自評的進步。

框架: 目標 → 標籤 → 特徵 → 指標 → 介入措施 → 監控

首先定義什麼是詐欺，以及要採取什麼行動。我們是要擋下交易、送交人工審查、要求加強身分驗證，還是只做風險評分？模型目標應該和介入方式一致，因為偽陽性可能會傷害正常顧客。 標籤可能來自退單（chargeback）、經調查確認的詐欺、使用者回報，或規則觸發的標記。標籤會延遲且不完美，所以要考量標籤延遲與雜訊。特徵可能包括交易金額、商家、裝置、IP 與地理位置不符、帳號建立時長、交易頻率（velocity）、付款方式歷史、失敗嘗試次數、運送距離，以及過去的爭議紀錄。 先從規則與簡單的基準模型開始，再依標籤品質，比較邏輯斯迴歸、梯度提升樹或異常偵測等模型。評估應該著重精確率–召回率、固定審查量能下的召回率、正常使用者的偽陽性率、以金額加權的詐欺攔截量，以及校準。 部署時需要監控漂移、詐騙者的對抗性調整、公平性、延遲、人工審查量能、回饋循環，並準備好 rollback 機制。詐欺模型不只是一個預測問題，而是一套營運系統。

框架: 目標定義 → 特徵可得性 → 指標 → 校準 → 使用者影響

把目標定義為從訂單確認到送達的實際配送時長，或拆成幾個組成部分：備餐時間、外送員指派、取餐時間、路程時間與交付時間。分段建模的可解釋性更高，在營運上也更實用。 預測當下可取得的特徵，可能包括餐廳、料理類型、時段、星期幾、天氣、距離、外送員供給、目前積壓的訂單、歷史備餐時間、交通狀況、訂單大小與地理區域。避免使用預測當下還不知道的特徵，例如在下單時就要預測，卻用到實際取餐時間。 指標應該反映使用者體驗。MAE 很容易解讀，但低估可能比高估更糟。校準也很重要：如果我們承諾一個送達時段，訂單就應該以預期的比例在該時段內送達。 部署時要考量延遲、即時特徵的新鮮度、新餐廳的冷啟動、節日、天氣突變，以及顯示給使用者的 ETA 反過來影響使用者決策所形成的回饋循環。要依餐廳、區域、時段與顧客分群監控誤差。

框架: 問題 → 方法 → 決策 → 影響 → 學到的事

挑一個你的工作確實改變了某個決策、產品、流程或指標的專案。先講商業問題，以及它為什麼重要。接著用適當的深度說明你的方法：資料來源、分析或模型、驗證方式與取捨。 最有力的回答，會把技術工作連結到商業行動。例如：流失模型幫助客戶成功團隊排定聯繫的優先順序、一場實驗改變了上線決策，或一項定價分析在不影響轉換的前提下提升了營收。 盡可能量化影響：營收提升、流失下降、節省的時間、降低的成本、更精準的目標鎖定，或更快的決策速度。也要說明限制，以及下一步你會怎麼改進。 別把回答變成工具介紹。面試官不太在意你用了哪個函式庫，更在意你的成果是否正確、被信任、被採用，而且真的有用。

框架: 決策 → 直覺 → 證據 → 限制 → 行動

我會先從利害關係人需要做的決策談起，而不是模型架構。接著用白話說明模型背後的直覺：它預測什麼、用了哪些訊號、準確度如何，以及在哪些情況下不該相信它。 適當的時候，我會用實例、特徵重要性或原因代碼、校準圖，以及精確率與召回率這類簡單的取捨圖表。我不會把模型講得像魔法一樣。利害關係人需要了解它的限制：資料品質、不確定性、偏誤、漂移與邊緣案例。 最後，我會把模型和行動連結起來。例如：「這個模型能找出最可能流失的前 10% 客戶帳戶，但真正的價值，在於測試主動聯繫這群客戶能不能提升留存。」這樣能讓討論聚焦在決策與成果上。

框架: 期望 → 證據 → 溝通 → 決策 → 結果

挑一個證據挑戰了既定計畫的真實例子。說明利害關係人原本預期什麼、你分析了哪些資料，以及為什麼結論不同。驗證過程要講得具體，因為在這種情況下，可信度非常重要。 接著描述你如何溝通這個發現。好的回答會展現溝通手腕：認同利害關係人的目標、清楚呈現證據、說明不確定性，並提出替代方案。目標不是贏得爭論，而是幫助團隊做出更好的決策。 最後談結果。也許團隊延後了上線、調整了目標客群、改做規模較小的測試，或選擇了不同的指標。如果利害關係人最後沒有採納建議，就說明後來發生了什麼，以及你在影響力與溝通上學到了什麼。