从 Bytes 到 Tokens：我在 CS336 中实现 BPE Tokenizer2026-08-23·17 分钟Mooc Cs336 Tokenizer Bpe Nlp Llm最近在做 Stanford CS336（Language Modeling from Scratch）的 Assignment 1，其中有一个完整的 BPE Tokenizer 实现——从训练到编解码。做完之后觉得，BPE 这个话题值得好好写一写。不是因为算法本身多复杂，而是它背后的 设计动机和 trade-off 经常被一笔带过。
unicode 汉字表示不唯一的问题 (cjk字符集)2017-12-05·1 分钟工程 Nlp Unicodeupdate: 遇到的汉字： 丹：63838 李：63969 昨天写的正则发现死活识别不了 “年"字…
