111qqz

caffe做部署是YYDS! blob layer net 激活函数 卷积 reshape slice loss function reduce eltwise argmax

起因 # 上一篇结尾留了一个问题：Pre-training Loss 通常随模型规模平滑改善，但一些下游 benchmark 上的准确率似乎在某个规模区间突然大幅提升。

起因 # 上一篇理清了 Pre-training 和 Post-training 的关系——Pre-training 让模型学会语言建模，SFT 和 RLHF 再让它学会遵循指令。

起因 # 最近继续跟 MIT 6.S191，加上工作中或多或少接触到一些 LLM 训练相关的讨论，我开始试着把大模型的训练流程从头到尾理一遍。

案发现场 # 前几天在 pn51 上通过 Tailscale SSH 连 p14s（Arch Linux），碰到一个让我困惑了好一阵的问题。

起因 # 昨晚把常用的 87 配列机械键盘拆开清洗了一遍。装回去之后发现主键盘区的数字 1 键彻底没反应了——按下去手感正常，但系统完全不认。

最近在学股票的波段交易（Swing Trading），平时看行情主要依赖趋势形态、动量和成交量。前段时间在琢磨做空交易时，遇到过一个很实际的场景：我看空某只股票，但我不想直接融券做空——融券需要借入股票，要付融券利息，还有被券商提前召回的可能；更棘手的是，如果遇到逼空（Short Squeeze），理论上的亏损幅度是上不封顶的，账户随时面临追加保证金（Margin Call）的压力。

起因 # 之前在量化团队做 ML Infra 相关工作时，我曾参与过期货预测模型的特征重要度评估与特征筛选系统。

起因 # 上一篇聊分布偏移与外推的时候，我把关注点放在了训练数据与生产环境之间的不一致上：模型在离线测试集上哪怕拿到了 98% 的高分，一旦现实环境发生 Covariate Shift 或者流形外推，线上的预测能力依然可能迅速滑坡。

在很长一段时间里，我对股票市场的理解非常机械，甚至带着一种理所当然的工程偏见。 作为一个长期和分布式系统、性能优化与反馈控制打交道的工程师，我习惯把撮合引擎看作一个纯粹的分布式信息处理系统：全市场的参与者带着各自的信息、算力和风险偏好，用真金白银在订单簿上挂单出清。价格上涨，说明对未来的盈利预期转好；价格下跌，说明基本面恶化或风险溢价上升。