Deep-Learning

前言 # 偶然发现了 torch2trt 的模型转换方案，思路是直接将pytorch op映射到TensorRT的python api. 在pytorch进行每个op　forward的时候，tensorrt也相应往network上添加op. 这里会先涉及torch2trt的使用，后面会补充这个转换工具的代码学习

写在前面 # 主要是需要在 jetson nano 上做模型转换，来记录下踩的坑。 目前有两条路径，一条是我们现有的转换路径，也就是 pytorch->onnx(->caffe)->trt 的路径。 在这条路径上踩了比较多的坑，最终暂时放弃，最直接的原因是 cudnn8.0 升级接口发生改动，编译 caffe 遇到较多问题。 这里其实仍然采用了两条平行的路径，一条是直接在 nano 上构建环境，另外一种是基于 docker（包括构建交叉编译环境用于加快编译速度）。

caffe做部署是YYDS! blob layer net 激活函数 卷积 reshape slice loss function reduce eltwise argmax

背景 # 似乎没什么背景，继续看 caffe 代码。

背景 # 这个 layer 和 reduce layer 有一些相似，就干脆一起看了。 作用是输入至少两个 blob，然后对每个 blob 中的元素做一些运算，最后得到一个 blob。

背景 # 其实没什么背景，继续啃 caffe 代码而已 2333。

先写个简略版的笔记..看之后的情况要不要读得更精细一点.. 背景 # two stage的检测比one stage的检测效果好，原因是啥？

背景 # 虽然不太care 训练的过程，但是由于容易看懂的layer都看得差不多了 所以打算看一下这些loss function.

背景　# OCR 组那边有个 shufflenet 的网络，里面有个 pytorch op 叫 chunk，转成的 onnx 对应的 op 是 split。

背景　# 最近在魔改 TensorRT 的 caffe parser。 之前 caffe 模型转到 trt 模型时，有一个修改需要将 reshape layer 的 param 末尾补 1，比较繁琐，于是看了下 caffe 的 reshape layer 的实现。

caffe中卷积运算的实现 # 暴力实现的卷积大概是这样子的

在看过 caffe 代码的三个核心部分 blob、layer、net 之后，陷入了不知道以什么顺序继续看的困境。

背景 # 2019 年对了好几次 faster rcnn，第一次是赛事之窗项目，和北京的同事对齐 sdk 和训练的实现。 第二次是被 tensorRT4 和 tensorRT5 之间默认参数不一致的问题坑了一下。 第三次是被 caffe proto 中 roi align 的默认参数坑了。

背景 # 基于 Conv 的方法在某年的 ImageNet 比赛上又重新被人想起之后，大家发现网络堆叠得越深，似乎在 cv 的各个任务上表现得越好。

Net 基本介绍 # 网络通过组合与自动微分，共同定义一个函数及其梯度。

layer 整体介绍 # layer 是模型计算的基本单元， 类似于 pytorch 或者其他深度学习框架的 op。 layer 中的数据流向为：输入若干个 blob，称之为 “bottom blob”，经过 layer 的计算后，输出若干个 blob，称之为 “top blob”。

迫于生计，开始看 caffe 代码。 会侧重于分析 inference 部分。 整体的依赖关系是：Net 由 Layer 组成，Layer 之间通过 Blob 传递数据。后面几篇会分别展开这三者。

问题描述 # 一年debug 三次faster rcnn，每次都有新感觉（不

检测不同尺度的物体一直是计算机视觉领域中比较有挑战性的事情．我们先从之前的工作出发，并对比FPN比起之前的工作有哪些改进．

概述 # SSD是一种单阶段目标检测算法．所谓单阶段，是指只使用了一个deep neural network，而不是像faster-rcnn这种两阶段网络． 为什么有了faster-rcnn还要使用SSD? 最主要是慢… 两阶段网络虽然准确率高，但是在嵌入式等算力不足的设备上做inference速度非常感人，很难达到real time的要求． （实际业务上也是这样，公有云上的检测模型几乎都是faster-rcnn，而到了一些盒子之类的硬件设备，检测模型就全是SSD等single stage 模型了)