Skip to content

Machine Learning › 推薦系統 › 評估與服務

推薦的評估與服務 (Evaluation and Serving) ​

產品交付的是 top-N 清單,不是單一評分預測;離線分數只是代理指標。這篇整理怎麼切資料、用哪些排序指標,以及推薦結果送出前的後處理。

切分資料 ​

切法做法問題
隨機切互動隨機抽 20% 互動當測試用未來的互動預測過去,過度樂觀
依時間切某日期前訓練、之後測試最接近上線情境(推薦用的通常是這個)
Leave-last-out每個使用者最後 1 個(或最後 n 個)互動當測試常用於序列推薦
依使用者切部分使用者完全留作測試評估新使用者冷啟動

見 資料洩漏:推薦資料的時間洩漏特別常見。

指標 ​

指標回答適用
RMSE / MAE評分預測準不準顯性評分;和清單品質不一定相關
Precision@K前 K 個推薦中有幾個是對的推薦清單
Recall@K使用者真正喜歡的項目被找回多少推薦清單
Hit rate@K前 K 個中至少有一個對的使用者比例Leave-one-out
MAP@K考慮對的項目排在第幾名的平均 precision排序品質
NDCG@K排序品質;越前面的正確項目權重越高最常用的排序指標
Coverage被推薦過的項目佔全部項目的比例是否只推熱門
多樣性 / 新穎性清單內的差異程度 / 推薦冷門項目的程度避免同質化
python
import numpy as np
from sklearn.metrics import ndcg_score

def precision_recall_at_k(recommended, relevant, k):
    hits = len(set(recommended[:k]) & set(relevant))
    return hits / k, hits / len(relevant)

def ndcg_at_k(recommended, relevant, k):
    dcg = sum(1 / np.log2(rank + 2) for rank, item in enumerate(recommended[:k]) if item in relevant)
    idcg = sum(1 / np.log2(rank + 2) for rank in range(min(len(relevant), k)))
    return dcg / idcg

recommended = ["A", "B", "C", "D", "E"]       # 模型排序
relevant = {"B", "E", "F"}                    # 測試期間使用者實際互動的項目
precision_recall_at_k(recommended, relevant, k=3)   # (0.33, 0.33):前 3 個中只有 B 對
ndcg_at_k(recommended, relevant, k=5)               # 0.478

# sklearn 版:每個候選的相關度 + 模型分數
ndcg_score([[0, 1, 0, 0, 1, 1]], [[5, 4, 3, 2, 1, 0]], k=5)   # 0.478(同上)

PySpark 3.0+ 有 RankingEvaluator(precisionAtK、ndcgAtK、meanAveragePrecision)。

離線評估只看得到「使用者實際互動過的項目」,沒被展示過的好項目會被當成錯誤;所以離線指標偏向懲罰新穎的推薦。最終要靠線上 A/B 測試(點擊率、留存、轉換)確認價值,見 A/B 測試。

服務前的後處理 ​

步驟說明
過濾已互動的項目不要把剛看過、剛買過的推回去(除非是可重複消費的品項)
業務規則庫存、地區、年齡限制、合約
重排 (re-ranking)增加多樣性、打散同類、加入新項目探索
攤平輸出巢狀的推薦結果整理成 user_id, item_id, score, rank
冷啟動退路沒有因子的新使用者 → 熱門度或內容式推薦
python
# pandas:過濾已看過的項目並攤平
recs = recs.merge(history[["user_id", "item_id"]], on=["user_id", "item_id"],
                  how="left", indicator=True)
recs = recs[recs["_merge"] == "left_only"].drop(columns="_merge")
recs["rank"] = recs.groupby("user_id")["score"].rank(ascending=False, method="first")
top_n = recs[recs["rank"] <= 10]

在 Spark 中做法相同:recommendForAllUsers 的巢狀結果先 explode 攤平,再和歷史互動做 left_anti join 排除已看過的項目。

RMSE 好看不等於推薦清單好用。離線評估、結果過濾與最終的輸出格式要一起設計。