Skip to content

Machine Learning › 推薦系統 › 基礎概念

推薦系統基礎 (Recommendation Foundations) ​

推薦問題的建模設定:互動資料、稀疏性、冷啟動與排序。資料擷取、儲存與管線架構見 資料工程基礎。

推薦問題長什麼樣子 ​

輸入通常不是一般的表格資料,而是一張互動表 (interaction table):

user_iditem_id互動訊號時間
u1m42rating = 42024-03-01
u1m7觀看 35 分鐘2024-03-02
u2m42點擊2024-03-02

模型要回答的是:

問題例子
這個使用者可能喜歡哪些項目?首頁推薦
這個項目該推薦給哪些使用者?新品行銷名單
和這個項目相似的有哪些?「看了這個的人也看了」
候選集合裡哪些該排前面?搜尋結果排序

兩大類方法 ​

內容式過濾 (content-based)協同過濾 (collaborative filtering)
依賴Item 的特徵(類型、作者、品牌、描述)使用者與項目的互動
直覺你喜歡 A,推薦和 A 特徵相似的 B和你相似的人喜歡 B;常被同一群人喜歡的項目彼此相關
優點新項目只要有特徵就能推薦;理由好解釋不需要人工特徵;能發現「意外但有趣」的項目
缺點容易困在已知偏好;依賴特徵品質冷啟動;需要足夠互動
筆記內容式過濾記憶式、ALS

User-Item 矩陣 ​

text
            item_1  item_2  item_3  item_4  ...
user_1        5       ·       3       ·
user_2        ·       4       ·       ·
user_3        1       ·       ·       5
...

列 = 使用者、欄 = 項目、格 = 評分或互動強度。大多數使用者只接觸過極少數項目,所以矩陣通常 > 99% 是空的。

空白格不代表不喜歡,只代表沒有觀察到互動(可能根本沒看過)。把空白當成 0 分或負樣本,是推薦系統最常見的錯誤。

稀疏性與冷啟動 ​

問題說明對策
稀疏性 (sparsity)觀察到的互動太少,相似度與因子估計不穩矩陣分解、正則化、加入項目特徵
新使用者冷啟動沒有歷史互動熱門度、問卷 / 入門選擇、人口統計或情境特徵
新項目冷啟動還沒被看過內容式方法、探索策略(給新項目一些曝光)
熱門度偏誤 (popularity bias)熱門項目互動多,被推薦更多,形成回饋迴圈多樣性、新穎性指標;探索

實務系統很少只用一種方法,常把熱門度、內容特徵、協同過濾與業務規則混合。

典型架構:召回 + 排序 ​

text
全部項目(百萬)→ 召回 candidate generation(快、粗:協同過濾、內容相似、熱門)→ 數百個候選
              → 排序 ranking(慢、精:GBDT / 深度模型,加入情境特徵)→ 過濾與重排(已看、庫存、多樣性)→ top-N