计算机视觉

先写个简略版的笔记..看之后的情况要不要读得更精细一点.. 背景 # two stage的检测比one stage的检测效果好，原因是啥？ 作者认为是正负样本不平衡导致的. two stage的方法在proposal 的时候干掉了大部分负样本，所以效果好.

背景 # 2019 年对了好几次 faster rcnn，第一次是赛事之窗项目，和北京的同事对齐 sdk 和训练的实现。 第二次是被 tensorRT4 和 tensorRT5 之间默认参数不一致的问题坑了一下。 第三次是被 caffe proto 中 roi align 的默认参数坑了。

背景 # 基于 Conv 的方法在某年的 ImageNet 比赛上又重新被人想起之后，大家发现网络堆叠得越深，似乎在 cv 的各个任务上表现得越好。 然而事情当然没有无脑堆叠深度那么简单，人们发现，当网络深到一定程度时，结果还不如浅一些的网络结构。

问题描述 # 一年debug 三次faster rcnn，每次都有新感觉（不 接到一个bug report，现象为某人脸模型，转换成trt模型，当batch size为1时结果完全正确，但是batch size大于1时结果不正确。 具体的现象是，如果跑多张不同的图，只有第一张图有结果，后面的图都没有结果。 如果跑的图中有相同的，那么和第一张相同的图都会有结果，其余的图没有结果。

检测不同尺度的物体一直是计算机视觉领域中比较有挑战性的事情．我们先从之前的工作出发，并对比FPN比起之前的工作有哪些改进． 之前的工作 # Featurized image pyramid # 思路是对于同一张图，生成不同的scale，然后每个scale的image单独去做检测． 这个方法是手工设计feature时代的常用办法． 这个办法是比较显然的，也的确可以解决检测不同尺度物体的问题． 缺点非常明显…inference的速度几乎和scale的个数线性相关． 以及由于显存的开销，没办法做end-to-end 的training.

概述 # SSD是一种单阶段目标检测算法．所谓单阶段，是指只使用了一个deep neural network，而不是像faster-rcnn这种两阶段网络． 为什么有了faster-rcnn还要使用SSD? 最主要是慢… 两阶段网络虽然准确率高，但是在嵌入式等算力不足的设备上做inference速度非常感人，很难达到real time的要求． （实际业务上也是这样，公有云上的检测模型几乎都是faster-rcnn，而到了一些盒子之类的硬件设备，检测模型就全是SSD等single stage 模型了)

最近有同事report给我们，用同一个模型转换工具，转同一个faster rcnn 模型， 同样的sdk代码，在有些显卡上结果正常，但是再比较新的显卡上(比如Titan V)上 结果完全不正确.

动机 # 将一张图分成多个grid cell进行检测之后，每个cell只能检测到一个object. 如果这个grid cell中不止有一个物体要怎么办呢？ 因此提出了anchor box algorithm来解决这个问题.

对象检测（Object Detection）的目的是”识别对象并给出其在图中的确切位置”，其内容可解构为三部分： 识别某个对象（Classification）； 给出对象在图中的位置（Localization）； 识别图中所有的目标及其位置（Detection）。 这里介绍滑动窗口这一方法。

记录一下，一个之前没有接触过 caffe/caffe2 的人为了添加自定义 op 到 caffe2 需要做的工作。 首先参考 caffe2 tutorial，随便跑个 op 来试试，不妨以比较简单的 Accumulate_op 为例子。 这个 op 的作用就是计算 Y=X+gamma*Y，其中 X 为输入，Y 为输出，gamma 是参数。

NMS是为了在诸多CV任务如边缘检测，目标检测等，找到局部最大值 其主要思想是先设定一个阈值，然后计算检测框的IOU(所谓IOU，也就是intersection-over-union，指的是相交面积除以相并面积，是来衡量overlap程度的指数）。如果IOU大于阈值，说明overlap过大，我们要通过某种算法来将其剔除。

被师兄（同事？）普及了一番实验规范orz… 我还是太年轻了 所谓的一个fc的版本是右边的．一个放着不动，另一个在sequence_len（１０）的维度上做ave，然后再expand成原来的维度．如下图．

CMC曲线全称是Cumulative Match Characteristic (CMC) curve，也就是累积匹配曲线，同ROC曲线Receiver Operating Characteristic (ROC) curve一样，是模式识别系统，如人脸，指纹，虹膜等的重要评价指标，尤其是在生物特征识别系统中，一般同ROC曲线（ 多标签图像分类任务的评价方法-mean average precision(mAP) 以及top x的评价方法）一起给出，能够综合评价出算法的好坏。

算是CV领域的传统算法了 只写两句话就够了。 它是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。

所谓end-to-end 神经网络，更多是一种思想。 这种思想的核心是，比如对于图像处理，输入原始图像数据，输出的是直接有用的结果（有用取决于具体的任务，比如自动驾驶)

1709.08325 Reid问题指的是判断一个probe person 是否在被不同的camera捕获的gallery person 中出现。 通常是如下情景：给出一个特定camera下某个特定人的probe image 或者 video sequence，从其他camera处询问这个人的图像，地点，时间戳。

原始论文 DNN在很多问题上效果很不错，但是由于深度和宽度过大，导致需要的执行时间和内存过大。我们需要讨论一些能快速执行并且对内存的需要不大的模型。 已经有很多方法来做这件事，比较重要的是Model distillation（模型蒸馏）

Similarity_learning # 相似性学习（Similarity learning ）有监督机器学习，它与回归和分类密切相关，但目标是从实例中学习一个相似函数，以衡量两个对象的相似程度或相关程度。

Key: (1). Pose-driven, body part alignment, combine whole feature and body part feature, focus on alignment of part model, (2). Combine image label and human attributes classes, do classification with attributes and identity learning (3). Based on triplet loss, improve metric learning for an end to end learning (4). Post-process, re-ranking AlignedReID: Surpassing Human-Level Performance in Person Re-Identification Hydraplus-net: Attentive deep features for pedestrian analysis. Darkrank: Accelerating deep metric learning via cross sample similarities transfer. Glad: Global-local-alignment descriptor for pedestrian retrieval.

参考资料： 多标签图像分类任务的评价方法-mAP wiki_Sensitivity and specificity False Positives和False Negative等含义 mean average precision（MAP）在计算机视觉中是如何计算和应用的？ 首先需要了解 True(False) Positives (Negatives) 的含义。