从 Bytes 到 Tokens：我在 CS336 中实现 BPE Tokenizer2026-08-23·8149 字·17 分钟Mooc CS336 Tokenizer BPE NLP LLM最近在做 Stanford CS336（Language Modeling from Scratch）的 Assignment 1，实现了一个 BPE Tokenizer。最初的 trainer 跑 TinyStories 要约 8 分钟，改完后降到约 36 秒。
unicode 汉字表示不唯一的问题 (cjk字符集)2017-12-05·181 字·1 分钟工程 NLP Unicodeupdate: 遇到的汉字： 丹：63838 李：63969 昨天写的正则发现死活识别不了 “年"字…
