Posts

起因 # 最近在做 CS336（Language Modeling from Scratch）的 Transformer 实现，代码里反复出现这种写法：

起因 # 我们的线上推理系统中存在大量模型——MLP、GNN、MoE，以及它们的各种组合。这个 workload 有几个重要特点：

起因：一个来自运维同事的问题 # 前阵子运维同事找到我，大意是：

起因：GPU 没吃满，但不是算力问题 # 最近组里有同学训练模型时，最直接的感受是：GPU utilization 上不去，step time 里总有一段在等数据。

最近在做 Stanford CS336（Language Modeling from Scratch）的 Assignment 1，实现了一个 BPE Tokenizer。最初的 trainer 跑 TinyStories 要约 8 分钟，改完后降到约 36 秒。

起因 # 以前在商汤做 CV 的时候，有一段时间在做目标检测模型的 INT8 量化。目标很直接：降低 inference latency，减少 model memory 和 bandwidth，同时利用 INT8 hardware throughput。

起因 # 上一篇讨论模型显存时，我直接用了一张表：

起因 # 上一篇讨论了模型调度中的 Performance Constraint：一个模型放到 GPU 上以后，到底跑多快？

起因 # 最近在做 CS336（Language Modeling from Scratch）的 resource accounting 作业，里面要求逐个列出 Transformer forward pass 中所有的 matmul，然后按 \(2MKN\) 计算 FLOPs。

起因 # 最近在学 Stanford CS336（Language Modeling from Scratch），做 tokenizer 作业时，第一次在测试代码里见到了 pytest.mark.xfail。

起因 # 机缘使然，最近在工作中接触到了 MoE（Mixture of Experts）。

好久没在博客上写东西了。确实是因为比较忙，但还是要写一写、做一些输出，不然人的表达能力是会退化的。

背景 # 公司内部的基于torch的toolbox在某个版本之后，结果发生了偏移。通过一系列排查，发现当导入cupy和torch的顺序不同时，计算结果会有所差异。 也就是说，如下两段代码会导致模型训练等环节得到不同的计算结果。

记录在 Bazel 工程中引入 ONNX Runtime 预编译包时的动态库、头文件与依赖配置。

背景 # 需要在gitlab pipelines中跑一堆测试 其中某些测试需要与rancher交互，在训练集群上执行一个训练任务

背景 # 2022年惊讶的发现，当时竟然没有写关于softmax的笔记，因此来补充一下。

背景 # 每一个cpp expression都有一个type 和 value category 属性 前者大家都比较了解，但是后者却常常被忽视

最近在做一个智能算力的项目，其中需要用到redis维护某个全局的时间窗口

接口 # 一个ABC，后面会继承这个类做各种实现

arena是levelDB中的内存池实现 接口 # 没有太多好说的，都非常直观。补了些注释