111qqz

caffe做部署是YYDS! blob layer net 激活函数 卷积 reshape slice loss function reduce eltwise argmax

起因 # 最近看完 MIT 6.S191 的 Lecture 8——AI for Science。这一讲的主题和之前几讲很不一样：不再是 NLP、CV 或者 RL，而是把深度学习拿去做天气预测、材料设计、分子模拟这些事情。

起因 # 之前写 Next-Token Prediction的时候，我把条件概率链式分解、Softmax 输出概率分布这些东西理了一遍。当时觉得逻辑非常自洽：模型在每个位置输出整个词表上的概率分布，概率最高的那个 token 就是模型最有信心的预测。

起因 # 过去几篇笔记一直在 Lecture 6 的范围里打转。Distribution Shift 那篇让我意识到离线测试集的 98% 准确率没法平移到生产环境，Algorithmic Bias 那篇又告诉我总体准确率可以掩盖群体间的巨大差异，对抗攻击那篇则让我看到泛化好的模型仍然可以被微小扰动骗过。

起因 # 上一篇结尾留了一个问题：Pre-training Loss 通常随模型规模平滑改善，但一些下游 benchmark 上的准确率似乎在某个规模区间突然大幅提升。

起因 # 上一篇理清了 Pre-training 和 Post-training 的关系——Pre-training 让模型学会语言建模，SFT 和 RLHF 再让它学会遵循指令。

起因 # 最近继续跟 MIT 6.S191，加上工作中或多或少接触到一些 LLM 训练相关的讨论，我开始试着把大模型的训练流程从头到尾理一遍。

案发现场 # 前几天在 pn51 上通过 Tailscale SSH 连 p14s（Arch Linux），碰到一个让我困惑了好一阵的问题。

起因 # 昨晚把常用的 87 配列机械键盘拆开清洗了一遍。装回去之后发现主键盘区的数字 1 键彻底没反应了——按下去手感正常，但系统完全不认。

最近在学股票的波段交易（Swing Trading），平时看行情主要依赖趋势形态、动量和成交量。前段时间在琢磨做空交易时，遇到过一个很实际的场景：我看空某只股票，但我不想直接融券做空——融券需要借入股票，要付融券利息，还有被券商提前召回的可能；更棘手的是，如果遇到逼空（Short Squeeze），理论上的亏损幅度是上不封顶的，账户随时面临追加保证金（Margin Call）的压力。