Scaling-Laws

起因 # 上一篇理清了 Pre-training 和 Post-training 的关系——Pre-training 让模型学会语言建模，SFT 和 RLHF 再让它学会遵循指令。 写完那篇之后，我回过头来想一个更上游的问题：Pre-training 本身应该怎么做？具体来说，假设手里有一笔固定的训练预算（比如一定数量的 GPU 时间），我应该训一个多大的模型、喂多少数据？