外觀
Data Science › Deep Learning › NLP 與 Transformer
NLP 與 Transformer (NLP and Transformers)
序列資料(文字、DNA、蛋白質)怎麼變成 tensor、怎麼建模。從 tokenize 與 embedding、RNN / LSTM,到 attention 與 Transformer——現代 LLM 與蛋白質語言模型的共同骨架。
建議順序
text
token / embedding → RNN / LSTM(狀態傳遞) → attention → Transformer → 應用
├─ LLM:見 LLM 章節
└─ DNA / 蛋白質:見生資應用筆記
| 筆記 | 內容 | 回答的問題 |
|---|---|---|
| 文字與序列模型 | tokenization(字元 / 子詞 / k-mer)、embedding、padding、RNN / LSTM / GRU | 序列怎麼變成 tensor?RNN 的限制是什麼? |
| Transformer 與 Attention | Q / K / V、scaled dot-product、multi-head、位置編碼、encoder vs decoder | attention 在算什麼?為什麼 Transformer 成為主流? |
相關章節
| 主題 | 位置 |
|---|---|
| LLM 概念、prompt、RAG、fine-tuning(LoRA) | LLM、Fine-Tuning |
| 句向量與語意搜尋 | Embeddings 與語意搜尋 |
| 蛋白質 / DNA 語言模型 | 序列與蛋白模型 |
| 不用深度學習的文字分析(tf-idf、LDA) | Text Analysis in R |