背景

怎么算微分。。通常有三种方法。

• Symbolic Differentiation
• Numerical Differentiation
• Automatic Differentiation (auto diff)

c8589036cb6d845eb07a05441e2d32f8.md.png (图片已丢失: c8589036cb6d845eb07a05441e2d32f8.md.png)

7f409550ef544562ea67816c7a884fcb.md.png (图片已丢失: 7f409550ef544562ea67816c7a884fcb.md.png)

auto diff中两种主流的方式分别是forward-mode …

背景

动手实现一个memory allocator,体会core到爆炸的乐趣(不是

trace file 结构分析

trace file 是对allocator的输入的描述，可以从mdriver.c中的

迫于生计，从今天开始学习推荐系统相关的内容，今天先来读一篇推荐系统领域的综述 Toward the next generation of recommender systems: a survey of the state-of-the-art and possible extensions

由于目前的工作其实是偏向推荐系统的serving,训练的开发，因此这些paper可能都是粗读，也不会把paper中的内容逐句翻译，而是找出我认为最为重要的一些概念加以记录。

目前我的博客是部署在github pages上，源码是一个repo,渲染出来的静态页面是一个repo. 更新的时候是把后者作为前者的submodule. 感觉这种方式有些落后了，简直和某司内部的平台有的一比。因此尝试采用了下github actions，来自动化这个部署的流程。

本来不知道写什么所以不打算写了，不过后来觉得可以把今年做的一些重大的决定写出来，把当时的分析和想法记录下来。这样若干年后再回看，就能找到，是哪些明智或愚蠢的决定，对人生产生了巨大的影响。

背景

CSAPP:3e 的配套实验 地址 分成了两个部分，第一部分是模拟一下cache的miss,hit,evict的规则。第二部分是优化一个矩阵的转置，使得miss尽可能少。

前言

偶然发现了 torch2trt 的模型转换方案，思路是直接将pytorch op映射到TensorRT的python api. 在pytorch进行每个op　forward的时候，tensorrt也相应往network上添加op. 这里会先涉及torch2trt的使用，后面会补充这个转换工具的代码学习

写在前面

主要是需要在jetson nano做模型转换，来记录下踩的坑 目前有两条路径，一条是我们现有的转换路径，也就是pytorch->onnx(->caffe)->trt的路径 在这条路径上踩了比较多的坑，最终暂时放弃，最直接的原因是cudnn8.0升级接口发生改动，编译caffe遇到较多问题 这里其实仍然采用了两条平行的路径，一条是直接在nano上构建环境，另外一种是基于docker(包括构建交叉编译环境用于加快编译速度)

继续将k8s用于模型转换和部署的自动化流程…然后发现之前安装k8s的文档不work了．． 时间是2020年5月7日，当前最新的k8s版本是　v1.18.2

背景

似乎没什么背景,继续看caffe代码

argmax的作用是返回一个blob某个维度或者batch_size之后的维度的top_k的index(或者pair(index,value))

背景

这个layer和reduce layer有一些相似,就干脆一起看了. 作用是输入至少两个blob,然后对每个blob中的元素所一些运算,最后得到一个blob.

背景

其实没什么背景,继续啃caffe代码而已2333

reduce layer其实就是做reduce操作,把一个任意shape的blob通过某种运算变成一个scalar.

先写个简略版的笔记..看之后的情况要不要读得更精细一点..

背景

two stage的检测比one stage的检测效果好,原因是啥?

作者认为是正负样本不平衡导致的. two stage的方法在proposal 的时候干掉了大部分负样本,所以效果好.

背景

虽然不太care 训练的过程，但是由于容易看懂的layer都看得差不多了 所以打算看一下这些loss function.

Euclidean Loss (L2 loss)

L2 loss.png (图片已丢失: voT7jGEF1BabmpL.png)

一般用于“real-valued regression tasks” 。　比如之前的项目上用的人脸年龄模型，就是用了这个Loss

背景　

ocr组那边有个shuffle net 的网络,里面有个pytorch op叫chunk,转成的onnx对应的op是 split

作用是:

Split a tensor into a list of tensors, along the specified ‘axis’. Lengths of the parts can be specified using argument ‘split’. Otherwise, the tensor is split to equal sized parts.

阅读更多

前几天装驱动把笔记本搞崩溃了..重新装了kde桌面环境的manjaro

首先根据 Configure NVIDIA (non-free) settings and load them on Startup

直接装驱动。 装之后mhwd -li命令会显示新安装的驱动，带有nvidia字样的。

背景　

最近在魔改 tensorRT 的caffe parser 之前caffe模型转到trt模型时，有一个修改是需要将reshape　layer的param末尾补1,比较繁琐，于是看了下caffe的reshape layer的实现．

caffe中卷积运算的实现

暴力实现的卷积大概是这样子的

 1
 2for w in 1..W
 3  for h in 1..H
 4    for x in 1..K
 5      for y in 1..K
 6        for m in 1..M
 7          for d in 1..D
 8            output(w, h, m) += input(w+x, h+y, d) * filter(m, x, y, d)
 9          end
10        end
11      end
12    end
13  end
14end

这种方式的效率显然很低，不意外地,caffe中 …

背景是要把某个caffe model,转换成tensorrt的INT8 模型。 然后遇到如下报错:

 1
 2E0403 08:54:35.951987  5704 engine.h:62] engine.cpp (572) - Cuda Error in commonEmitTensor: 1 (invalid argument)
 3E0403 08:54:35.952157  5704 engine.h:62] Failure while trying to emit debug blob.
 4engine.cpp (572) - Cuda Error in commonEmitTensor: 1 (invalid …

在看过caffe代码的三个核心部分,blob,layer,net之后，陷入了不知道以什么顺序继续看的困境。

blob,layer,net只是三个最基本的概念，关键还是在于各个layer. 但是layer这么多，要怎么看呢？ 想了一下决定把相同作用的layer放在一起分析。 今天打算先分析一下激活函数。