Skip to content

Data Science › Deep Learning › NLP 與 Transformer

NLP 與 Transformer (NLP and Transformers) ​

序列資料(文字、DNA、蛋白質)怎麼變成 tensor、怎麼建模。從 tokenize 與 embedding、RNN / LSTM,到 attention 與 Transformer——現代 LLM 與蛋白質語言模型的共同骨架。

建議順序 ​

text
token / embedding → RNN / LSTM(狀態傳遞) → attention → Transformer → 應用
                                                                   ├─ LLM:見 LLM 章節
                                                                   └─ DNA / 蛋白質:見生資應用

筆記 ​

筆記內容回答的問題
文字與序列模型tokenization(字元 / 子詞 / k-mer)、embedding、padding、RNN / LSTM / GRU序列怎麼變成 tensor?RNN 的限制是什麼?
Transformer 與 AttentionQ / K / V、scaled dot-product、multi-head、位置編碼、encoder vs decoderattention 在算什麼?為什麼 Transformer 成為主流?

相關章節 ​

主題位置
LLM 概念、prompt、RAG、fine-tuning(LoRA)LLM、Fine-Tuning
句向量與語意搜尋Embeddings 與語意搜尋
蛋白質 / DNA 語言模型序列與蛋白模型
不用深度學習的文字分析(tf-idf、LDA)Text Analysis in R