最近的文章
从 Faster R-CNN 到 Anchor-Free：经典目标检测架构到底在解决什么问题
以前在商汤做 CV 的时候，Faster R-CNN、SSD、FPN、RetinaNet 这些名字是天天打交道的。模型训练、转换、部署，各种坑也踩了不少——TensorRT 版本间 softmax axis 默认值不一致、RoI Align 的 num_roi_per_image 默认 300 导致多 batch 结果错乱，这类问题当年 debug 到怀疑人生。
视频不等于视频模型：从抽帧 2D CNN 到 Conv3D 的选择逻辑
·4816 字·10 分钟
以前做 CV 内容审核的时候，训练数据里有大量视频。色情视频审核是一个很典型的场景——输入是一段几十秒甚至几分钟的视频，输出是一个二分类：这段视频是否包含色情内容。
但最近回忆起那段经历，我发现一件当时觉得理所当然、现在重新想却很有意思的事：虽然输入是视频，当时实际的做法却是先抽帧，把视频拆成若干张图片，然后按照普通的图片分类问题来做。
9 年后重温 CNN：剥掉算子细节后，真正留下了什么
·5891 字·12 分钟
最近在重新过 MIT 6.S191 Lecture 3（卷积神经网络）。2017 年刚接触 CV 那会儿，CNN 算是吃饭的家伙，每天都在调。后来精力逐渐转到 ML Infra，成天跟 GPU 显存、通信拓扑和算子优化打交道，卷积网络的很多具体细节就慢慢生疏了——写个 nn.Conv2d 时 weight 的四维形状到底怎么排、Kaiming 初始化的方差怎么推、感受野怎么算，冷不丁被问到，还得在脑子里卡壳一下。
Attention 之后还缺什么：从 Residual Connection 到 Transformer Stack
·5963 字·12 分钟
上一篇结尾我写：Multi-Head Attention 仍然只是一个 information routing / read mechanism，一个完整的 Transformer layer 还包含 FFN、residual connection、layer normalization 等组件。
从标量整数到相对几何：Sinusoidal Positional Encoding 到底在设计什么？
·7042 字·15 分钟
上一篇走到了一个结论：去掉 recurrence 之后，Self-Attention 必须重新获得 positional information。position 可以加进 token 的 representation，两者相加不要求后续计算无损还原，只要下游能利用其中的信息就行。
一组 QKV 就够了吗：Multi-Head Attention 到底在拆什么
·5296 字·11 分钟
上一篇结尾我留了一个问题：一组 \(W_Q, W_K, W_V\) 只定义了一个 matching / routing space，如果不同类型的信息需求需要不同的 routing 策略，一个 space 够吗？
这个问题让我停了下来。因为到 single-head self-attention 为止，每个 token 已经可以访问整个 sequence 了——任意两个位置之间的通路都是通的。如果表达能力不够，加大 \(d_k\) 不就行了？为什么还要搞出 Multi-Head？
从动态读取到 QKV：Self-Attention 的公式是怎么长出来的
·6965 字·14 分钟
上一篇结尾留了三个问题：谁和我相关？相关程度是多少？我该从对方那里读什么？
Self-attention 允许 sequence 内的位置之间直接建立通路，不再需要沿着 recurrent state 一步步搬运。但"允许直接交互"和"知道怎么交互"是两件事——architecture 把路打通了，到底是谁在决定走哪条路、读多少、读什么？
从倒排索引到 BPE：高性能系统为什么总在避免扫描全集
最近在系统学习 Search 和 Information Retrieval 的知识。在看倒排索引（Inverted Index）的时候，我越看越觉得这个结构非常眼熟。直到我想起前段时间写 CS336 作业里 BPE（Byte-Pair Encoding）分词算法的优化逻辑，我才突然意识到：原来这些看似完全不同领域的系统，底层其实都在共享同一种 pattern。