https://111qqz.com/en/tags/llm/Recent content in Llm on 111qqz's blogHugo -- gohugo.ioen© 2015-2026 111qqzSun, 23 Aug 2026 14:00:00 +0800https://111qqz.com/en/post/%E5%85%AC%E5%BC%80%E8%AF%BE/2026-08-23-cs336-bpe-tokenizer/Sun, 23 Aug 2026 14:00:00 +0800https://111qqz.com/en/post/%E5%85%AC%E5%BC%80%E8%AF%BE/2026-08-23-cs336-bpe-tokenizer/<p>最近在做 Stanford CS336（Language Modeling from Scratch）的 Assignment 1，其中有一个完整的 BPE Tokenizer 实现——从训练到编解码。做完之后觉得，BPE 这个话题值得好好写一写。不是因为算法本身多复杂，而是它背后的 <strong>设计动机和 trade-off</strong> 经常被一笔带过。</p>