111qqz的小窝

caffe 源码阅读笔记

hust.111qqz@gmail.com (111qqz) — Tue, 30 Jun 2020 19:47:02 +0800

caffe做部署是YYDS!

GAN 的对抗到底发生在哪里：从 D(G(z)) 到 Distribution Matching

hust.111qqz@gmail.com (111qqz) — Sat, 26 Sep 2026 15:30:00 +0800

上一篇讲完 VAE，走到一条因果链：VAE 通过把 Encoder 的输出从确定点变成概率分布，让 latent space 服从已知 prior，于是可以从 prior 采样、交给 Decoder 生成新样本。

从伯努利分布推到二元交叉熵：二分类损失为什么长这样

hust.111qqz@gmail.com (111qqz) — Sat, 26 Sep 2026 13:30:00 +0800

起因
#

最近在看 GAN 的时候，判别器的训练目标里反复出现两项：

训练信号从哪里来：重新理解有监督、无监督、半监督与自监督学习

hust.111qqz@gmail.com (111qqz) — Sat, 26 Sep 2026 10:30:00 +0800

起因
#

我过去一直把机器学习里的学习范式简单理解成两类：

从 batch size 设多少到动态推理：重看 TensorRT 5 之后的演进

hust.111qqz@gmail.com (111qqz) — Sat, 26 Sep 2026 09:50:00 +0800

一个部署工程师的困惑
#

几年前我在做计算机视觉模型的部署，用的是 TensorRT 4 和 5。每次把训练好的模型转成 TensorRT engine，都绕不开一个参数：maxBatchSize。

VAE 为什么要让 Latent Variable 变成一个概率分布

hust.111qqz@gmail.com (111qqz) — Sun, 20 Sep 2026 19:30:00 +0800

起因
#

上一篇文章理清了 latent variable 和 latent space 的概念，最后停在一个地方：

从特征表示到生成语义：深入理解 Latent Variable 与 Latent Space

hust.111qqz@gmail.com (111qqz) — Sun, 20 Sep 2026 17:55:00 +0800

起因
#

最近在看 MIT 6.S191 Lecture 4——Generative Modeling。在这之前我对生成模型基本没什么了解，刚建立了一个很粗的认知：

概率密度不是概率：连续随机变量为什么需要 PDF

hust.111qqz@gmail.com (111qqz) — Sun, 20 Sep 2026 16:30:00 +0800

上一篇只回答了"为什么不矛盾"
#

上一篇文章里，我沿着一个概率问题一路追到了集合论。

无限也有大小：从可数集合到康托尔对角线论证

hust.111qqz@gmail.com (111qqz) — Sun, 20 Sep 2026 15:00:00 +0800

起因
#

最近在补概率基础的时候，碰到一个解释：连续分布中，每一个单点的概率都是 0，但整个区间的概率可以是 1。

从 Faster R-CNN 到 Anchor-Free：经典目标检测架构到底在解决什么问题

hust.111qqz@gmail.com (111qqz) — Sun, 20 Sep 2026 13:00:00 +0800

以前在商汤做 CV 的时候，Faster R-CNN、SSD、FPN、RetinaNet 这些名字是天天打交道的。模型训练、转换、部署，各种坑也踩了不少——TensorRT 版本间 softmax axis 默认值不一致、RoI Align 的 num_roi_per_image 默认 300 导致多 batch 结果错乱，这类问题当年 debug 到怀疑人生。

视频不等于视频模型：从抽帧 2D CNN 到 Conv3D 的选择逻辑

hust.111qqz@gmail.com (111qqz) — Sun, 20 Sep 2026 12:20:00 +0800

以前做 CV 内容审核的时候，训练数据里有大量视频。色情视频审核是一个很典型的场景——输入是一段几十秒甚至几分钟的视频，输出是一个二分类：这段视频是否包含色情内容。

9 年后重温 CNN：剥掉算子细节后，真正留下了什么

hust.111qqz@gmail.com (111qqz) — Sun, 20 Sep 2026 10:00:00 +0800

最近在重新过 MIT 6.S191 Lecture 3（卷积神经网络）。2017 年刚接触 CV 那会儿，CNN 算是吃饭的家伙，每天都在调。后来精力逐渐转到 ML Infra，成天跟 GPU 显存、通信拓扑和算子优化打交道，卷积网络的很多具体细节就慢慢生疏了——写个 nn.Conv2d 时 weight 的四维形状到底怎么排、Kaiming 初始化的方差怎么推、感受野怎么算，冷不丁被问到，还得在脑子里卡壳一下。

Attention 之后还缺什么：从 Residual Connection 到 Transformer Stack

hust.111qqz@gmail.com (111qqz) — Sat, 19 Sep 2026 16:00:00 +0800

上一篇结尾我写：Multi-Head Attention 仍然只是一个 information routing / read mechanism，一个完整的 Transformer layer 还包含 FFN、residual connection、layer normalization 等组件。

从标量整数到相对几何：Sinusoidal Positional Encoding 到底在设计什么？

hust.111qqz@gmail.com (111qqz) — Sat, 19 Sep 2026 14:00:00 +0800

上一篇走到了一个结论：去掉 recurrence 之后，Self-Attention 必须重新获得 positional information。position 可以加进 token 的 representation，两者相加不要求后续计算无损还原，只要下游能利用其中的信息就行。

一组 QKV 就够了吗：Multi-Head Attention 到底在拆什么

hust.111qqz@gmail.com (111qqz) — Sat, 19 Sep 2026 10:00:00 +0800

上一篇结尾我留了一个问题：一组 \(W_Q, W_K, W_V\) 只定义了一个 matching / routing space，如果不同类型的信息需求需要不同的 routing 策略，一个 space 够吗？

从动态读取到 QKV：Self-Attention 的公式是怎么长出来的

hust.111qqz@gmail.com (111qqz) — Fri, 18 Sep 2026 18:00:00 +0800

上一篇结尾留了三个问题：谁和我相关？相关程度是多少？我该从对方那里读什么？

从倒排索引到 BPE：高性能系统为什么总在避免扫描全集

hust.111qqz@gmail.com (111qqz) — Thu, 17 Sep 2026 23:30:00 +0800

最近在系统学习 Search 和 Information Retrieval 的知识。在看倒排索引（Inverted Index）的时候，我越看越觉得这个结构非常眼熟。直到我想起前段时间写 CS336 作业里 BPE（Byte-Pair Encoding）分词算法的优化逻辑，我才突然意识到：原来这些看似完全不同领域的系统，底层其实都在共享同一种 pattern。

推荐系统的动态算力：当机器跟不上流量，如何让 Workload 具备弹性

hust.111qqz@gmail.com (111qqz) — Wed, 16 Sep 2026 21:08:00 +0800

在 2022 年的年终总结里，我提过当时做的一个“动态算力”项目。那一年，我和另一位同事一起推进了这套系统，陆续接入腾讯新闻、QQ 音乐、全民 K 歌等业务，部分场景节省了约 30% 的成本。

模型压缩之后，为什么推理反而变慢了：一次 CPU Serving 的性能优化实践

hust.111qqz@gmail.com (111qqz) — Tue, 15 Sep 2026 22:53:41 +0800

之前我负责过一个推荐系统深度学习 Serving 框架的功能开发与性能优化。

我们的系统主要跑在 CPU 上，以 TensorFlow 为主力 inference engine。随着模型迭代，尤其是 Embedding 层越来越大，模型导出、传输和上线变得非常慢，Serving 节点的内存成本也眼看着往上飙。

推荐模型不只是一次 Forward：回看排序模型的 Serving 架构

hust.111qqz@gmail.com (111qqz) — Tue, 15 Sep 2026 22:29:22 +0800

之前在腾讯做过一个面向推荐场景的深度学习框架（内部叫「无量」），我当时负责其中 Serving 相关的工作。后来和朋友聊起，有人问我：把一个推荐模型部署上线，是不是就是加载模型文件，然后来一个请求做一次 forward？

量化交易不是一个模型：从 Alpha 到执行的完整系统框架

hust.111qqz@gmail.com (111qqz) — Mon, 14 Sep 2026 21:30:00 +0800

读书时记下的一张系统图
#

2024 年我读过 Rishi K. Narang 的《打开量化投资的黑箱》（Inside the Black Box）。书里把一个典型的量化交易系统拆成几个组成部分——Alpha Model、Risk Model、Transaction Cost Model、Portfolio Construction Model、Execution Model，底下还有 Data 和 Research。

当资源利用率开始影响 Quota：一次训练集群资源治理机制的设计与反思

hust.111qqz@gmail.com (111qqz) — Mon, 14 Sep 2026 18:52:00 +0800

起因
#

三年前我参与维护过一个多人共享的训练集群。集群上跑着各业务线的训练任务，用户通过一个队列系统提交，每个用户有自己的资源 Quota。

去掉 RNN 之后，顺序去哪了？

hust.111qqz@gmail.com (111qqz) — Sun, 13 Sep 2026 20:00:00 +0800

在Self-Attention 那篇里，去掉 recurrence 让不同位置可以并行计算。但顺序原本就编码在这条递推关系里；换成纯 self-attention 后，它由谁来表示？

市盈率为什么不等于“多少年回本”？

hust.111qqz@gmail.com (111qqz) — Sun, 13 Sep 2026 18:30:00 +0800

整理金融基础笔记时，我想弄清楚一句常见说法：20 倍 PE，是否就意味着买进去 20 年回本？按定义算出的倍数，和股东实际收到现金的时间，中间隔着哪些条件？

从 RNN 到 Self-Attention：信息为什么一定要沿着 State 一步步传递？

hust.111qqz@gmail.com (111qqz) — Sun, 13 Sep 2026 18:00:00 +0800

上一篇《从 RNN / LSTM / GRU 到早期 Attention》结尾我留了一句话：早期的 attention 并不是为了取代 RNN 而出现的，它只是夹在 encoder–decoder 中间解决 fixed-context bottleneck；但“根据当前需求去读取一组 representation”这种机制，并不一定要依附在 RNN 上。这篇接着讲那个“另一个故事”。

夏普比率到底衡量了什么？

hust.111qqz@gmail.com (111qqz) — Sun, 13 Sep 2026 17:30:00 +0800

整理完风险指标，再看夏普比率时，我关注的是公式里的两个选择：为什么分子减去无风险收益率，分母又为什么选波动率？“收益除以风险”这句简称，把这两件事省掉了。

风险也不是一个数字：波动率、最大回撤和 VaR 到底在衡量什么？

hust.111qqz@gmail.com (111qqz) — Sun, 13 Sep 2026 16:00:00 +0800

在收益率那篇里，同样赚了 10%，可能来自完全不同的路径。要继续比较，就得知道风险指标各自省略了什么。

从 RNN / LSTM / GRU 到早期 Attention：为什么“压缩历史”最终变成了“按需读取”

hust.111qqz@gmail.com (111qqz) — Sun, 13 Sep 2026 15:00:00 +0800

上一篇《从 RNN 到 LSTM，再到 GRU》把 gate 机制理了一遍：LSTM / GRU 把 recurrent state 的信息流变成了可学习的动态控制，决定什么写入、什么保留、什么暴露。写到那里，我以为 RNN 这条线差不多收尾了。

收益率不是一个数字：一项投资到底赚了多少？

hust.111qqz@gmail.com (111qqz) — Sun, 13 Sep 2026 14:00:00 +0800

一笔买入、一笔卖出
#

前段时间把基金从业资格考试的两门科目考完了。准备的过程里，我第一次完整地看到"收益率"这个词下面的各种定义，也发现过去自己对它的把握只有一句话：赚到的钱除以本金。

翻到 2017 年的简历，我才想起自己还做过一个游戏

hust.111qqz@gmail.com (111qqz) — Sat, 12 Sep 2026 23:26:00 +0800

很多项目随着工作年限增加，会自然从简历里消失，这很正常。但从简历里消失，不代表这些事情没有发生过。

从 RNN 到 LSTM，再到 GRU：循环网络真正改变的是什么？

hust.111qqz@gmail.com (111qqz) — Sat, 12 Sep 2026 18:24:00 +0800

最近复习 RNN、LSTM 和 GRU，我把它们的状态更新公式放在一起看。有一处值得单独想想：candidate 和 input gate 最后只是相乘，为什么要分成两组参数来学？从这个问题往回看，才能看清几个 gate 各自控制了什么。

把 RNN 沿时间展开之后：理解 BPTT 与梯度传播

hust.111qqz@gmail.com (111qqz) — Sat, 12 Sep 2026 14:00:00 +0800

复习 RNN 的 backward 时，我关注的是参数共享：同一份 weight 在多个 timestep 被使用，各处产生的梯度最后怎么汇到它上面？把时间展开成计算图之后，这件事就可以用普通的 chain rule 来算。

从 Docker 到 Kubernetes：目标状态与资源抽象

hust.111qqz@gmail.com (111qqz) — Sat, 12 Sep 2026 10:00:00 +0800

起因
#

在上一篇《从进程视角重新理解 Docker》中，我总结了 Docker 最核心的价值：它通过 namespace 和 cgroup 给进程构造了独立的视图和资源限制，并把这套运行环境固化成了可以直接分发的 artifact。

从局部线性化到 RNN：理解 Jacobian 连乘

hust.111qqz@gmail.com (111qqz) — Sat, 12 Sep 2026 00:20:00 +0800

最近在重拾一些深度学习基础，发现了一个很有意思的视角。

以前在看 RNN（Recurrent Neural Network）的长距离梯度传播公式时，总能看到一堆 Jacobian 矩阵的连乘，比如 \(\frac{\partial h_T}{\partial h_0} = J_T J_{T-1} \dots J_1\)。

开公司 VPN 后 ChatGPT 无法访问：一场 DNS 归属与透明代理的冲突

hust.111qqz@gmail.com (111qqz) — Fri, 11 Sep 2026 19:00:00 +0800

起因
#

最近在家办公，需要连公司 VPN（UniVPN）进内网。但一连上 VPN，浏览器里的 chatgpt.com 就直接打不开了。

为什么一个 Python Library 既要锁依赖，又不能锁依赖

hust.111qqz@gmail.com (111qqz) — Fri, 11 Sep 2026 00:05:00 +0800

起因
#

最近在团队内部重新整理 Python 项目的打包、发布和依赖管理规范，逐渐把各个工程统一收敛到：

从进程视角重新理解 Docker

hust.111qqz@gmail.com (111qqz) — Thu, 10 Sep 2026 20:00:00 +0800

起因
#

第一次接触 Docker 是 2017 年，在深圳网警机房驻场做审核项目。机房完全没有外网，模型、依赖、运行环境全靠 U 盘拷贝 docker image 来传输。后来做模型转换系统，再到量化行业负责机器学习平台，和 Docker、K8s 打了不少交道。但距离上一次系统梳理 namespace、cgroup 这些底层机制，已经过去好几年了。

训练数据从哪里来：回看 2018 年的一套图片与视频采集系统

hust.111qqz@gmail.com (111qqz) — Thu, 10 Sep 2026 10:00:00 +0800

起因
#

写训练代码的时候，经常从这里开始：

从一次训练集群卡顿，理解 Linux Overcommit

hust.111qqz@gmail.com (111qqz) — Wed, 09 Sep 2026 23:00:00 +0800

起因
#

最近偶然看到一篇文章，里面提到一个 Linux 和 Windows 的差异：在 Linux 下，即使机器实际上没有足够的物理内存，一个很大的 malloc 仍然可能成功返回。而 Windows 对 committed memory 的管理要严格得多，类似的 allocation 更容易被直接拒绝。

从 Token ID 到 Dense Vector：Embedding 到底在做什么

hust.111qqz@gmail.com (111qqz) — Wed, 09 Sep 2026 21:30:00 +0800

起因
#

最近在继续 CS336 和 MIT 6.S191。

Next-Token Prediction：语言模型的训练目标从哪来

hust.111qqz@gmail.com (111qqz) — Tue, 08 Sep 2026 23:00:00 +0800

起因
#

上一篇把 RNN 拆成了两层：state transition 和 output projection。State transition 维护 hidden state，output projection 从 hidden state 中映射出当前任务需要的预测结果。

重新理解 RNN：Hidden State、Output 和 Prediction 的区别

hust.111qqz@gmail.com (111qqz) — Tue, 08 Sep 2026 00:20:00 +0800

起因
#

最近在复习 MIT 6.S191 的 RNN 部分，看到下面这张 slide 时停了一下。

从 Forward 到 Optimizer：再看一遍 Training Loop

hust.111qqz@gmail.com (111qqz) — Sun, 06 Sep 2026 22:00:00 +0800

起因
#

CS336 的 training loop 里，loss.backward() 和 optimizer.step() 挨在一起。前者计算 gradient，后者更新 parameter；但 gradient 存在哪里、什么时候清零、optimizer 还维护什么状态，需要分开看。于是结合 MIT 6.S191 的 Lecture 1，把一次训练迭代重新过了一遍。

博客历史

hust.111qqz@gmail.com (111qqz) — Sun, 06 Sep 2026 00:00:00 +0800

网易博客 (2011 - 2014)
#

高中时接触 OI，开了个网易博客，标题叫「我的OI我的爱」。那时候写 Pascal，主要在 vijos 和 tyvj 上刷题，博客内容基本是题解。

从推理到训练：模型调度中的显存约束

hust.111qqz@gmail.com (111qqz) — Sat, 05 Sep 2026 11:00:00 +0800

推理任务能放下，为什么训练任务放不下
#

上一篇讨论了模型调度中的 Capacity Constraint：一组模型到底能不能同时放进一张 GPU。

从 CS336 到 ML Infra：理解 Arithmetic Intensity、Accelerator Intensity，以及 Compute Bound / Memory Bound

hust.111qqz@gmail.com (111qqz) — Thu, 03 Sep 2026 21:00:00 +0800

起因
#

这是 CS336 系列的又一篇。

从 reshape 到 einops：理解 Transformer 代码中的 Tensor Shape DSL

hust.111qqz@gmail.com (111qqz) — Thu, 27 Aug 2026 21:35:00 +0800

起因
#

最近在做 CS336（Language Modeling from Scratch）的 Transformer 实现，代码里反复出现这种写法：

从线上模型切换问题理解 PyTorch CUDA Caching Allocator：为什么显存管理需要理解生命周期

hust.111qqz@gmail.com (111qqz) — Wed, 26 Aug 2026 23:30:00 +0800

起因
#

我们的线上推理系统中存在大量模型——MLP、GNN、MoE，以及它们的各种组合。这个 workload 有几个重要特点：

Lance 适合我们的训练特征存储吗？从 NumPy、mmap 到 GPFS I/O 的一次分析

hust.111qqz@gmail.com (111qqz) — Wed, 26 Aug 2026 20:30:00 +0800

起因：一个来自运维同事的问题
#

前阵子运维同事找到我，大意是：

从 DataLoader 到 Remote DataLoader：如何让 GPU 不再等待数据

hust.111qqz@gmail.com (111qqz) — Sun, 23 Aug 2026 23:58:00 +0800

起因：GPU 没吃满，但不是算力问题
#

最近组里有同学训练模型时，最直接的感受是：GPU utilization 上不去，step time 里总有一段在等数据。

111qqz的小窝

caffe 源码阅读笔记

GAN 的对抗到底发生在哪里：从 D(G(z)) 到 Distribution Matching

从伯努利分布推到二元交叉熵：二分类损失为什么长这样

起因 #

训练信号从哪里来：重新理解有监督、无监督、半监督与自监督学习

起因 #

从 batch size 设多少到动态推理：重看 TensorRT 5 之后的演进

一个部署工程师的困惑 #

VAE 为什么要让 Latent Variable 变成一个概率分布

起因 #

从特征表示到生成语义：深入理解 Latent Variable 与 Latent Space

起因 #

概率密度不是概率：连续随机变量为什么需要 PDF

上一篇只回答了"为什么不矛盾" #

无限也有大小：从可数集合到康托尔对角线论证

起因 #

从 Faster R-CNN 到 Anchor-Free：经典目标检测架构到底在解决什么问题

视频不等于视频模型：从抽帧 2D CNN 到 Conv3D 的选择逻辑

9 年后重温 CNN：剥掉算子细节后，真正留下了什么

Attention 之后还缺什么：从 Residual Connection 到 Transformer Stack

从标量整数到相对几何：Sinusoidal Positional Encoding 到底在设计什么？

一组 QKV 就够了吗：Multi-Head Attention 到底在拆什么

从动态读取到 QKV：Self-Attention 的公式是怎么长出来的

从倒排索引到 BPE：高性能系统为什么总在避免扫描全集

推荐系统的动态算力：当机器跟不上流量，如何让 Workload 具备弹性

模型压缩之后，为什么推理反而变慢了：一次 CPU Serving 的性能优化实践

推荐模型不只是一次 Forward：回看排序模型的 Serving 架构

量化交易不是一个模型：从 Alpha 到执行的完整系统框架

读书时记下的一张系统图 #

当资源利用率开始影响 Quota：一次训练集群资源治理机制的设计与反思

起因 #

去掉 RNN 之后，顺序去哪了？

市盈率为什么不等于“多少年回本”？

从 RNN 到 Self-Attention：信息为什么一定要沿着 State 一步步传递？

夏普比率到底衡量了什么？

风险也不是一个数字：波动率、最大回撤和 VaR 到底在衡量什么？

从 RNN / LSTM / GRU 到早期 Attention：为什么“压缩历史”最终变成了“按需读取”

收益率不是一个数字：一项投资到底赚了多少？

一笔买入、一笔卖出 #

翻到 2017 年的简历，我才想起自己还做过一个游戏

从 RNN 到 LSTM，再到 GRU：循环网络真正改变的是什么？

把 RNN 沿时间展开之后：理解 BPTT 与梯度传播

从 Docker 到 Kubernetes：目标状态与资源抽象

起因 #

从局部线性化到 RNN：理解 Jacobian 连乘

开公司 VPN 后 ChatGPT 无法访问：一场 DNS 归属与透明代理的冲突

起因 #

为什么一个 Python Library 既要锁依赖，又不能锁依赖

起因 #

从进程视角重新理解 Docker

起因 #

训练数据从哪里来：回看 2018 年的一套图片与视频采集系统

起因 #

从一次训练集群卡顿，理解 Linux Overcommit

起因 #

从 Token ID 到 Dense Vector：Embedding 到底在做什么

起因 #

Next-Token Prediction：语言模型的训练目标从哪来

起因 #

重新理解 RNN：Hidden State、Output 和 Prediction 的区别

起因 #

从 Forward 到 Optimizer：再看一遍 Training Loop

起因 #

博客历史

网易博客 (2011 - 2014) #

从推理到训练：模型调度中的显存约束

推理任务能放下，为什么训练任务放不下 #

从 CS336 到 ML Infra：理解 Arithmetic Intensity、Accelerator Intensity，以及 Compute Bound / Memory Bound

起因 #

从 reshape 到 einops：理解 Transformer 代码中的 Tensor Shape DSL

起因 #

从线上模型切换问题理解 PyTorch CUDA Caching Allocator：为什么显存管理需要理解生命周期

起因 #

Lance 适合我们的训练特征存储吗？从 NumPy、mmap 到 GPFS I/O 的一次分析

起因：一个来自运维同事的问题 #

从 DataLoader 到 Remote DataLoader：如何让 GPU 不再等待数据

起因：GPU 没吃满，但不是算力问题 #

起因
#

起因
#

一个部署工程师的困惑
#

起因
#

起因
#

上一篇只回答了"为什么不矛盾"
#

起因
#

读书时记下的一张系统图
#

起因
#

一笔买入、一笔卖出
#

起因
#

起因
#

起因
#

起因
#

起因
#

起因
#

起因
#

起因
#

起因
#

起因
#

网易博客 (2011 - 2014)
#

推理任务能放下，为什么训练任务放不下
#

起因
#

起因
#

起因
#

起因：一个来自运维同事的问题
#

起因：GPU 没吃满，但不是算力问题
#