Generalization

起因 # 之前在量化团队做 ML Infra 相关工作时，我曾参与过期货预测模型的特征重要度评估与特征筛选系统。

起因 # 上一篇聊分布偏移与外推的时候，我把关注点放在了训练数据与生产环境之间的不一致上：模型在离线测试集上哪怕拿到了 98% 的高分，一旦现实环境发生 Covariate Shift 或者流形外推，线上的预测能力依然可能迅速滑坡。

起因 # 上一篇聊随机标签实验的时候，我把注意力放在了模型容量和假设空间上：一个参数量巨大、完全有能力死记硬背随机噪声的神经网络，为什么在面对真实规律的数据时，依然能找到泛化良好的解。

起因 # 看 6.S191 的课程内容时，讲到 generalization 相关的话题，提到了一篇 2017 年的论文。 说实话，我以前对"泛化"这件事没有太深入地想过。教科书上的经典说法——模型越复杂越容易过拟合，要用正则化控制复杂度——我一直就这么接受下来了。L1、L2、Dropout 这些方法背后的直觉也说得通：限制模型的有效复杂度，不让它过度拟合训练数据中的噪声。没觉得有什么问题。