从 Pre-training 到 Post-training：为什么大模型需要分阶段训练？
·4616 words·10 mins
起因 # 最近继续跟 MIT 6.S191，加上工作中或多或少接触到一些 LLM 训练相关的讨论，我开始试着把大模型的训练流程从头到尾理一遍。
之前写过几篇笔记：NTP 那篇推导了 next-token prediction 的条件概率和 cross entropy loss，训练信号来源那篇整理了 self-supervised pretraining → representation → fine-tuning 的基本链路。