Posts

背景 # CSAPP:3e 的配套实验 地址 分成了两个部分，第一部分是模拟一下 cache 的 miss、hit、evict 的规则，第二部分是优化一个矩阵的转置，使得 miss 尽可能少。

前言 # 偶然发现了 torch2trt 的模型转换方案，思路是直接将pytorch op映射到TensorRT的python api. 在pytorch进行每个op　forward的时候，tensorrt也相应往network上添加op. 这里会先涉及torch2trt的使用，后面会补充这个转换工具的代码学习

写在前面 # 主要是需要在 jetson nano 上做模型转换，来记录下踩的坑。 目前有两条路径，一条是我们现有的转换路径，也就是 pytorch->onnx(->caffe)->trt 的路径。 在这条路径上踩了比较多的坑，最终暂时放弃，最直接的原因是 cudnn8.0 升级接口发生改动，编译 caffe 遇到较多问题。 这里其实仍然采用了两条平行的路径，一条是直接在 nano 上构建环境，另外一种是基于 docker（包括构建交叉编译环境用于加快编译速度）。

caffe做部署是YYDS! blob layer net 激活函数 卷积 reshape slice loss function reduce eltwise argmax

继续把 k8s 用于模型转换和部署的自动化流程，然后发现之前安装 k8s 的文档不 work 了…… 时间是 2020 年 5 月 7 日，当前最新的 k8s 版本是 v1.18.2。

背景 # 似乎没什么背景，继续看 caffe 代码。

背景 # 这个 layer 和 reduce layer 有一些相似，就干脆一起看了。 作用是输入至少两个 blob，然后对每个 blob 中的元素做一些运算，最后得到一个 blob。

背景 # 其实没什么背景，继续啃 caffe 代码而已 2333。

先写个简略版的笔记..看之后的情况要不要读得更精细一点.. 背景 # two stage的检测比one stage的检测效果好，原因是啥？

背景 # 虽然不太care 训练的过程，但是由于容易看懂的layer都看得差不多了 所以打算看一下这些loss function.

背景　# OCR 组那边有个 shufflenet 的网络，里面有个 pytorch op 叫 chunk，转成的 onnx 对应的 op 是 split。

前几天装驱动把笔记本搞崩溃了..重新装了kde桌面环境的manjaro

背景　# 最近在魔改 TensorRT 的 caffe parser。 之前 caffe 模型转到 trt 模型时，有一个修改需要将 reshape layer 的 param 末尾补 1，比较繁琐，于是看了下 caffe 的 reshape layer 的实现。

caffe中卷积运算的实现 # 暴力实现的卷积大概是这样子的

背景是要把某个 caffe model 转换成 tensorrt 的 INT8 模型，然后遇到如下报错： 1 2E0403 08:54:35.951987 5704 engine.h:62] engine.cpp (572) - Cuda Error in commonEmitTensor: 1 (invalid argument) 3E0403 08:54:35.952157 5704 engine.h:62] Failure while trying to emit debug blob. 4engine.cpp (572) - Cuda Error in commonEmitTensor: 1 (invalid argument) 5E0403 08:54:35.952235 5704 engine.h:62] cuda/caskConvolutionLayer.cpp (355) - Cuda Error in execute: 1 (invalid argument) 6E0403 08:54:35.952291 5704 engine.h:62] cuda/caskConvolutionLayer.cpp (355) - Cuda Error in execute: 1 (invalid argument) 7W0403 08:54:35.952324 5704 calibrator.cpp:45] [4, 3, 224, 224] 8F0403 08:54:35.992761 5704 tensor.h:149] Check failed: cudaMemcpy(raw_mutable_data(), b.raw_data(), size_in_bytes, cudaMemcpyDefault) == cudaSuccess (700 vs. 0) 9*** Check failure stack trace: *** 10Aborted (core dumped) cuda error 700. 原来 cuda error 的错误号可以这么大。。

在看过 caffe 代码的三个核心部分 blob、layer、net 之后，陷入了不知道以什么顺序继续看的困境。

背景 # 2019 年对了好几次 faster rcnn，第一次是赛事之窗项目，和北京的同事对齐 sdk 和训练的实现。 第二次是被 tensorRT4 和 tensorRT5 之间默认参数不一致的问题坑了一下。 第三次是被 caffe proto 中 roi align 的默认参数坑了。

背景 # 基于 Conv 的方法在某年的 ImageNet 比赛上又重新被人想起之后，大家发现网络堆叠得越深，似乎在 cv 的各个任务上表现得越好。

名词说明 # CUDA. 一般来说指的是CUDA SDK. 目前经常使用的是CUDA 8.0和CUDA 10.1两个版本. 8.0和10.1都是SDK的版本号. CUDNN. The NVIDIA CUDA® Deep Neural Network library (cuDNN). 是一个可以为神经网络提供GPU加速的库 compute capability. 是GPU的固有参数，可以理解为GPU的版本.越新的显卡该数值往往越高. tensorRT.NVIDIA TensorRT™ is an SDK for high-performance deep learning inference. 是一个深度学习推理库，旨在提供高性能的推理速度. plan file，也称为 engine plan. 是生成的tensorRT 模型文件. 兼容性说明 # Engine plan 的兼容性依赖于GPU的compute capability 和 TensorRT 版本， 不依赖于CUDA和CUDNN版本.

背景 # CSAPP:3e 第四章配套的实验。第四章是讲处理器架构的，章节的重点是实现一个六阶段流水线。