从特征表示到生成语义：深入理解 Latent Variable 与 Latent Space
·7051 words·15 mins
起因 # 最近在看 MIT 6.S191 Lecture 4——Generative Modeling。在这之前我对生成模型基本没什么了解，刚建立了一个很粗的认知：
Embedding
2026
从 Token ID 到 Dense Vector：Embedding 到底在做什么
起因 # 最近在继续 CS336 和 MIT 6.S191。
之前那篇写了 BPE tokenizer——从训练到编解码，关注的是 raw text 怎么变成 token，token 怎么映射成 token ID。做完之后，对这条链路的前半段算是搞清楚了：