111qqz

caffe做部署是YYDS! blob layer net 激活函数 卷积 reshape slice loss function reduce eltwise argmax

最近重新复习经典序列模型时，我发现不少资料把重点放在“门（gate）”的数量和复杂公式的罗列上，反而容易忽略这些设计背后的 trade-off。复习的时候，我更想把它们放回 architecture design 的角度看一遍。

最近在重新跟 MIT 6.S191 和 CS336，发现自己处在一个有点尴尬的状态：RNN 的 forward 随时能默写，hidden state 一步一步往前推，没什么好想的。但如果有人接着问"那它到底怎么 backward"，我能说出来的只剩几个词——BPTT、沿时间反向传播、梯度消失——再往下就模糊了。

起因 # 在上一篇《从进程视角重新理解 Docker》中，我总结了 Docker 最核心的价值：它通过 namespace 和 cgroup 给进程构造了独立的视图和资源限制，并把这套运行环境固化成了可以直接分发的 artifact。

最近在重拾一些深度学习基础，发现了一个很有意思的视角。 以前在看 RNN（Recurrent Neural Network）的长距离梯度传播公式时，总能看到一堆 Jacobian 矩阵的连乘，比如 \(\frac{\partial h_T}{\partial h_0} = J_T J_{T-1} \dots J_1\)。

起因 # 最近在家办公，需要连公司 VPN（UniVPN）进内网。但一连上 VPN，浏览器里的 chatgpt.com 就直接打不开了。

起因 # 最近在团队内部重新整理 Python 项目的打包、发布和依赖管理规范，逐渐把各个工程统一收敛到：

起因 # 第一次接触 Docker 是 2017 年，在深圳网警机房驻场做审核项目。机房完全没有外网，模型、依赖、运行环境全靠 U 盘拷贝 docker image 来传输。后来做模型转换系统，再到量化行业负责机器学习平台，和 Docker、K8s 打了不少交道。但距离上一次系统梳理 namespace、cgroup 这些底层机制，已经过去好几年了。

起因 # 写训练代码的时候，经常从这里开始：

起因 # 最近偶然看到一篇文章，里面提到一个 Linux 和 Windows 的差异：在 Linux 下，即使机器实际上没有足够的物理内存，一个很大的 malloc 仍然可能成功返回。而 Windows 对 committed memory 的管理要严格得多，类似的 allocation 更容易被直接拒绝。