Generalization

起因 # 之前在量化团队做 ML Infra 相关工作时，我曾参与过期货预测模型的特征重要度评估与特征筛选系统。 在那套系统里，Permutation Importance（置换重要度）是最核心的算子之一。当时我们面临的工作负载非常庞大：针对上千维的输入特征，要在多个交易日的数据上反复进行特征随机置换、模型前向推理以及评价指标的计算。在很长一段时间里，我的注意力几乎完全被系统层面的工程瓶颈吸引——如何降低内存拷贝、如何把推理批次打满、如何避免在不同特征扰动之间重复扫描数据。计算耗时被压下来之后，整套流水线跑得很顺，我也就习惯性地把这套指标当作特征评价的标准答案。

起因 # 上一篇聊分布偏移与外推的时候，我把关注点放在了训练数据与生产环境之间的不一致上：模型在离线测试集上哪怕拿到了 98% 的高分，一旦现实环境发生 Covariate Shift 或者流形外推，线上的预测能力依然可能迅速滑坡。

起因 # 上一篇聊随机标签实验的时候，我把注意力放在了模型容量和假设空间上：一个参数量巨大、完全有能力死记硬背随机噪声的神经网络，为什么在面对真实规律的数据时，依然能找到泛化良好的解。

起因 # 看 6.S191 的课程内容时，讲到 generalization 相关的话题，提到了一篇 2017 年的论文。 说实话，我以前对"泛化"这件事没有太深入地想过。教科书上的经典说法——模型越复杂越容易过拟合，要用正则化控制复杂度——我一直就这么接受下来了。L1、L2、Dropout 这些方法背后的直觉也说得通：限制模型的有效复杂度，不让它过度拟合训练数据中的噪声。没觉得有什么问题。