↓ 跳过正文

111qqz

ML Infra Engineer | ex-ICPCer@HUST

最近的文章

caffe 源码阅读笔记

2020-06-30·30 字·1 分钟

Deep-Learning Caffe

caffe做部署是YYDS! blob layer net 激活函数卷积 reshape slice loss function reduce eltwise argmax

重新理解 RNN：Hidden State、Output 和 Prediction 的区别

2026-09-08·3506 字·7 分钟

Deep-Learning RNN 6.s191

起因 # 最近在复习 MIT 6.S191 的 RNN 部分，看到 lecture 里画的那张经典展开图时停了一下。

从 Forward 到 Optimizer：再看一遍 Training Loop

2026-09-06·2800 字·6 分钟

Deep-Learning Training Backpropagation Optimizer 6.s191 Ml-Infra

起因 # 跟 CS336 的作业写到 training loop 的时候，发现自己在 loss.backward() 这行停了一下。

从推理到训练：模型调度中的显存约束

2026-09-05·2697 字·6 分钟

Deep-Learning Gpu-Memory Model-Scheduling Training Activation-Checkpointing Cs336 Ml-Infra

推理任务能放下，为什么训练任务放不下 # 上一篇讨论了模型调度中的 Capacity Constraint：一组模型到底能不能同时放进一张 GPU。

从 CS336 到 ML Infra：理解 Arithmetic Intensity、Accelerator Intensity，以及 Compute Bound / Memory Bound

2026-09-03·6444 字·13 分钟

Deep-Learning Cs336 Arithmetic-Intensity Roofline Gpu-Performance Inference Ml-Infra

起因 # 这是 CS336 系列的又一篇。

从 reshape 到 einops：理解 Transformer 代码中的 Tensor Shape DSL

2026-08-27·6463 字·13 分钟

Deep-Learning Einops Cs336 Pytorch Transformer Ml-Infra

起因 # 最近在做 CS336（Language Modeling from Scratch）的 Transformer 实现，代码里反复出现这种写法：

从线上模型切换问题理解 PyTorch CUDA Caching Allocator：为什么显存管理需要理解生命周期

2026-08-26·7981 字·16 分钟

Deep-Learning Cuda Pytorch Gpu-Memory Memory-Allocator Inference Ml-Infra

起因 # 我们的线上推理系统中存在大量模型——MLP、GNN、MoE，以及它们的各种组合。这个 workload 有几个重要特点：

Lance 适合我们的训练特征存储吗？从 NumPy、mmap 到 GPFS I/O 的一次分析

2026-08-26·4875 字·10 分钟

Deep-Learning Ml-Infra Storage Lance Gpfs

起因：一个来自运维同事的问题 # 前阵子运维同事找到我，大意是：

从 DataLoader 到 Remote DataLoader：如何让 GPU 不再等待数据

2026-08-23·5329 字·11 分钟

Deep-Learning Dataloader Ml-Infra Distributed-System Pytorch

起因：GPU 没吃满，但不是算力问题 # 最近组里有同学训练模型时，最直接的感受是：GPU utilization 上不去，step time 里总有一段在等数据。

从 Bytes 到 Tokens：我在 CS336 中实现 BPE Tokenizer

2026-08-23·8409 字·17 分钟

Mooc Cs336 Tokenizer Bpe Nlp Llm

最近在做 Stanford CS336（Language Modeling from Scratch）的 Assignment 1，其中有一个完整的 BPE Tokenizer 实现——从训练到编解码。做完之后觉得，BPE 这个话题值得好好写一写。不是因为算法本身多复杂，而是它背后的设计动机和 trade-off 经常被一笔带过。