https://111qqz.com/en/tags/scaling-laws/Recent content in Scaling-Laws on 111qqz's blogHugo -- gohugo.ioenhust.111qqz@gmail.com (111qqz)hust.111qqz@gmail.com (111qqz)© 2011-2026 111qqzMon, 19 Oct 2026 21:30:00 +0800https://111qqz.com/en/post/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/2026-10-19-llm-scaling-laws-chinchilla/Mon, 19 Oct 2026 21:30:00 +0800hust.111qqz@gmail.com (111qqz)https://111qqz.com/en/post/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/2026-10-19-llm-scaling-laws-chinchilla/<h2 class="relative group">起因 <div id="起因" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 -start-6 not-prose group-hover:opacity-100 select-none"> <a class="text-primary-300 dark:text-neutral-700 !no-underline" href="#%e8%b5%b7%e5%9b%a0" aria-label="Anchor">#</a> </span> </h2> <p><a href="https://111qqz.com/en/post/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/2026-10-19-pretraining-to-post-training/" >上一篇</a>理清了 Pre-training 和 Post-training 的关系——Pre-training 让模型学会语言建模，SFT 和 RLHF 再让它学会遵循指令。</p> <p>写完那篇之后，我回过头来想一个更上游的问题：Pre-training 本身应该怎么做？具体来说，假设手里有一笔固定的训练预算（比如一定数量的 GPU 时间），我应该训一个多大的模型、喂多少数据？</p>