外觀
Machine Learning › 推薦系統 › 基礎概念
推薦系統基礎 (Recommendation Foundations)
推薦問題的建模設定:互動資料、稀疏性、冷啟動與排序。資料擷取、儲存與管線架構見 資料工程基礎。
推薦問題長什麼樣子
輸入通常不是一般的表格資料,而是一張互動表 (interaction table):
| user_id | item_id | 互動訊號 | 時間 |
|---|---|---|---|
| u1 | m42 | rating = 4 | 2024-03-01 |
| u1 | m7 | 觀看 35 分鐘 | 2024-03-02 |
| u2 | m42 | 點擊 | 2024-03-02 |
模型要回答的是:
| 問題 | 例子 |
|---|---|
| 這個使用者可能喜歡哪些項目? | 首頁推薦 |
| 這個項目該推薦給哪些使用者? | 新品行銷名單 |
| 和這個項目相似的有哪些? | 「看了這個的人也看了」 |
| 候選集合裡哪些該排前面? | 搜尋結果排序 |
兩大類方法
| 內容式過濾 (content-based) | 協同過濾 (collaborative filtering) | |
|---|---|---|
| 依賴 | Item 的特徵(類型、作者、品牌、描述) | 使用者與項目的互動 |
| 直覺 | 你喜歡 A,推薦和 A 特徵相似的 B | 和你相似的人喜歡 B;常被同一群人喜歡的項目彼此相關 |
| 優點 | 新項目只要有特徵就能推薦;理由好解釋 | 不需要人工特徵;能發現「意外但有趣」的項目 |
| 缺點 | 容易困在已知偏好;依賴特徵品質 | 冷啟動;需要足夠互動 |
| 筆記 | 內容式過濾 | 記憶式、ALS |
User-Item 矩陣
text
item_1 item_2 item_3 item_4 ...
user_1 5 · 3 ·
user_2 · 4 · ·
user_3 1 · · 5
...列 = 使用者、欄 = 項目、格 = 評分或互動強度。大多數使用者只接觸過極少數項目,所以矩陣通常 > 99% 是空的。
空白格不代表不喜歡,只代表沒有觀察到互動(可能根本沒看過)。把空白當成 0 分或負樣本,是推薦系統最常見的錯誤。
稀疏性與冷啟動
| 問題 | 說明 | 對策 |
|---|---|---|
| 稀疏性 (sparsity) | 觀察到的互動太少,相似度與因子估計不穩 | 矩陣分解、正則化、加入項目特徵 |
| 新使用者冷啟動 | 沒有歷史互動 | 熱門度、問卷 / 入門選擇、人口統計或情境特徵 |
| 新項目冷啟動 | 還沒被看過 | 內容式方法、探索策略(給新項目一些曝光) |
| 熱門度偏誤 (popularity bias) | 熱門項目互動多,被推薦更多,形成回饋迴圈 | 多樣性、新穎性指標;探索 |
實務系統很少只用一種方法,常把熱門度、內容特徵、協同過濾與業務規則混合。
典型架構:召回 + 排序
text
全部項目(百萬)→ 召回 candidate generation(快、粗:協同過濾、內容相似、熱門)→ 數百個候選
→ 排序 ranking(慢、精:GBDT / 深度模型,加入情境特徵)→ 過濾與重排(已看、庫存、多樣性)→ top-N