从倒排索引到 BPE：高性能系统为什么总在避免扫描全集Sep 17, 2026·2540 words·6 mins工程 Search BPE CS336最近在系统学习 Search 和 Information Retrieval 的知识。在看倒排索引（Inverted Index）的时候，我越看越觉得这个结构非常眼熟。直到我想起前段时间写 CS336 作业里 BPE（Byte-Pair Encoding）分词算法的优化逻辑，我才突然意识到：原来这些看似完全不同领域的系统，底层其实都在共享同一种 pattern。
从 Bytes 到 Tokens：我在 CS336 中实现 BPE TokenizerAug 23, 2026·8149 words·17 minsMooc CS336 Tokenizer BPE NLP LLM最近在做 Stanford CS336（Language Modeling from Scratch）的 Assignment 1，实现了一个 BPE Tokenizer。最初的 trainer 跑 TinyStories 要约 8 分钟，改完后降到约 36 秒。