从 Bytes 到 Tokens：我在 CS336 中实现 BPE Tokenizer

Sun, 23 Aug 2026 14:00:00 +0800

最近在做 Stanford CS336（Language Modeling from Scratch）的 Assignment 1，其中有一个完整的 BPE Tokenizer 实现——从训练到编解码。做完之后觉得，BPE 这个话题值得好好写一写。不是因为算法本身多复杂，而是它背后的 设计动机和 trade-off 经常被一笔带过。

从 CS336 的 xfail 看大型工程中的测试设计

Sun, 23 Aug 2026 11:00:00 +0800

起因
#

最近在学 Stanford CS336（Language Modeling from Scratch），做 tokenizer 作业时，第一次在测试代码里见到了 pytest.mark.xfail。

CS336 on 111qqz的小窝

从 Bytes 到 Tokens：我在 CS336 中实现 BPE Tokenizer

从 CS336 的 xfail 看大型工程中的测试设计

起因 #

起因
#