↓ 跳过正文

CS336

2026

从倒排索引到 BPE：高性能系统为什么总在避免扫描全集

2026-09-17·2540 字·6 分钟

工程 Search BPE CS336

最近在系统学习 Search 和 Information Retrieval 的知识。在看倒排索引（Inverted Index）的时候，我越看越觉得这个结构非常眼熟。直到我想起前段时间写 CS336 作业里 BPE（Byte-Pair Encoding）分词算法的优化逻辑，我才突然意识到：原来这些看似完全不同领域的系统，底层其实都在共享同一种 pattern。

从 Token ID 到 Dense Vector：Embedding 到底在做什么

2026-09-09·3814 字·8 分钟

Deep-Learning Embedding Tokenizer CS336 6.S191 Ml-Infra

起因 # 最近在继续 CS336 和 MIT 6.S191。

从推理到训练：模型调度中的显存约束

2026-09-05·2607 字·6 分钟

Deep-Learning Gpu-Memory Model-Scheduling Training Activation-Checkpointing CS336 Ml-Infra

推理任务能放下，为什么训练任务放不下 # 上一篇讨论了模型调度中的 Capacity Constraint：一组模型到底能不能同时放进一张 GPU。

从 CS336 到 ML Infra：理解 Arithmetic Intensity、Accelerator Intensity，以及 Compute Bound / Memory Bound

2026-09-03·6012 字·12 分钟

Deep-Learning CS336 Arithmetic-Intensity Roofline Gpu-Performance Inference Ml-Infra

起因 # 这是 CS336 系列的又一篇。

从 reshape 到 einops：理解 Transformer 代码中的 Tensor Shape DSL

2026-08-27·6243 字·13 分钟

Deep-Learning Einops CS336 PyTorch Transformer Ml-Infra

起因 # 最近在做 CS336（Language Modeling from Scratch）的 Transformer 实现，代码里反复出现这种写法：

从 Bytes 到 Tokens：我在 CS336 中实现 BPE Tokenizer

2026-08-23·8149 字·17 分钟

Mooc CS336 Tokenizer BPE NLP LLM

最近在做 Stanford CS336（Language Modeling from Scratch）的 Assignment 1，实现了一个 BPE Tokenizer。最初的 trainer 跑 TinyStories 要约 8 分钟，改完后降到约 36 秒。

从参数量到 Peak Memory：模型显存到底应该怎么算？

2026-08-17·5253 字·11 分钟

Deep-Learning Gpu-Memory Model-Scheduling Inference Training CS336 Ml-Infra

起因 # 上一篇讨论了模型调度中的 Performance Constraint：一个模型放到 GPU 上以后，到底跑多快？

从 FLOPs 到 Latency：GPU 推理性能到底由什么决定？

2026-08-15·3136 字·7 分钟

Deep-Learning Gpu-Performance FLOPS Roofline Inference CS336 Ml-Infra

起因 # 最近在做 CS336（Language Modeling from Scratch）的 resource accounting 作业，里面要求逐个列出 Transformer forward pass 中所有的 matmul，然后按 \(2MKN\) 计算 FLOPs。

从 CS336 的 xfail 看大型工程中的测试设计

2026-08-13·3497 字·7 分钟

Deep-Learning Pytest CS336 PyTorch Testing

起因 # 最近在学 Stanford CS336（Language Modeling from Scratch），做 tokenizer 作业时，第一次在测试代码里见到了 pytest.mark.xfail。