↓ 跳过正文

111qqz

ML Infra Engineer | ex-ICPCer@HUST

最近的文章

caffe 源码阅读笔记

2020-06-30·1 分钟

Deep-Learning Caffe

caffe做部署是YYDS! blob layer net 激活函数卷积 reshape slice loss function reduce eltwise argmax

从 DataLoader 到 Remote DataLoader：如何让 GPU 不再等待数据

2026-08-23·11 分钟

Deep-Learning Dataloader Ml-Infra Distributed-System Pytorch

起因：GPU 没吃满，但不是算力问题 # 最近组里有同学训练模型时，最直接的感受是：GPU utilization 上不去，step time 里总有一段在等数据。

从 AMP 到 Mixed Precision：训练和推理为什么不使用同一种精度

2026-08-23·13 分钟

Deep-Learning Mixed-Precision Amp Quantization Bf16 Inference

起因 # 以前在商汤做 CV 的时候，有一段时间在做目标检测模型的 INT8 量化。目标很直接：降低 inference latency，减少 model memory 和 bandwidth，同时利用 INT8 hardware throughput。

从 IEEE 754 到 BF16：理解 ML Infra 中的浮点精度选择

2026-08-23·14 分钟

Deep-Learning Floating-Point Bf16 Fp16 Tf32 Inference

起因 # 上一篇讨论模型显存时，我直接用了一张表：

从参数量到 Peak Memory：模型显存到底应该怎么算？

2026-08-23·11 分钟

Deep-Learning Gpu-Memory Model-Scheduling Inference Training

起因 # 上一篇讨论了模型调度中的 Performance Constraint：一个模型放到 GPU 上以后，到底跑多快？

从 Bytes 到 Tokens：我在 CS336 中实现 BPE Tokenizer

2026-08-23·17 分钟

Mooc CS336 Tokenizer Bpe Nlp Llm

最近在做 Stanford CS336（Language Modeling from Scratch）的 Assignment 1，其中有一个完整的 BPE Tokenizer 实现——从训练到编解码。做完之后觉得，BPE 这个话题值得好好写一写。不是因为算法本身多复杂，而是它背后的设计动机和 trade-off 经常被一笔带过。

从 FLOPs 到 Latency：GPU 推理性能到底由什么决定？

2026-08-23·8 分钟

Deep-Learning Gpu-Performance Flops Roofline Inference

起因 # 最近在做 CS336（Language Modeling from Scratch）的 resource accounting 作业，里面要求逐个列出 Transformer forward pass 中所有的 matmul，然后按 \(2MKN\) 计算 FLOPs。

从 CS336 的 xfail 看大型工程中的测试设计

2026-08-23·7 分钟

Deep-Learning Pytest CS336 Pytorch Testing

起因 # 最近在学 Stanford CS336（Language Modeling from Scratch），做 tokenizer 作业时，第一次在测试代码里见到了 pytest.mark.xfail。

MoE 结构学习笔记：Expert 与 Gate 的几种关系

2026-08-22·14 分钟

Deep-Learning MoE 大模型深度学习

起因 # 机缘使然，最近在工作中接触到了 MoE（Mixture of Experts）。

[施工中] cupy与torch的导入顺序不同对计算结果的影响

2023-12-17·5 分钟

Deep-Learning Pytorch Cupy Python

背景 # 公司内部的基于torch的toolbox发现某个版本之后,结果发生了偏移. 通过一系列排查,发现当导入cupy和torch的顺序不同时，计算结果会有所差异。也就是说,如下两段代码会导致模型训练等环节的计算得到不同的结果.