reid 相关任务记录

被师兄(同事?)普及了一番实验规范orz…

我还是太年轻了

所谓的一个fc的版本是右边的.一个放着不动,另一个在sequence_len(10)的维度上做ave,然后再expand成原来的维度.如下图.

 

 

任务命名规则:

如D1V2_a_1,D1表示使用第一个数据集,V2表示是第二个大版本,a表示在V2大版本上的微调,最后的数字表示这是第几次运行该任务(跑三次以减少波动的影响)

logdir的地址为:/mnt/lustre/renkuanze/Data_t1/reid/log/{$jobname}

 

  • D1:使用ilivids 数据集
    • D1V1表示最初始的 baseline model
    • D1V2表示改为使用一个fc
      • D1V2_a是一个在一个FC上,不添加光流的修改版本
      • D1V2_b是在一个FC上的baseline版本(也就是有光流)
      • D1V2_c是在一个FC上,有光流,batchsize从32改为64,gpu数目从4改为8的版本
    • D1V3表示将softmax改为sigmod
      • D1V3_b表示将softmax改为sigmod的baseline版本
  • D2:使用prid2011数据集
    • D2V1表示初始的baseline model
    • D2V2表示改为使用一个fc
      • D2V2_b是在一个FC上的baseline版本

 

 

Reid iLIDS-VID 数据集 切分

ilids-vid数据集

150个人做trainning,150个人做
在training set里面,每个人有来自两个不同camera的两段video,之后再怎么切分去train是自己的事

在bash脚本里面有两个参数,(一段比如100个frame的video里切割出很多sequence),一个参数是seq_len,是一个sequence的长度,还有一个是seq_std,是切割间隔,所以如果第一个参数是10,第二个参数是5,就会切割出来20个sequence

Pose-driven Deep Convolutional Model for Person Re-identification 阅读笔记

1709.08325

Reid问题指的是判断一个probe person 是否在被不同的camera捕获的gallery person 中出现。

通常是如下情景:给出一个特定camera下某个特定人的probe image 或者 video sequence,从其他camera处询问这个人的图像,地点,时间戳。

 

ReID问题至今没有很好得解决,主要原因是,不同camera下,人的姿势(pose),观察的视角(viewpoint) 变化太大了。

传统方法主要在两个大方向上努力:

  1. 用一些在图像上抽取的不变量来作为人的特征feture
  2. 去学习一个不同的距离度量方式,以至于同一个人在不同camera之间的距离尽可能小。

但是由于在实际中,行人的pose和 摄像机的viewpoint不可控,因此与之相关的feture可能不够健壮。

学习新的不同的距离度量方式需要每对camera分别计算距离,然而这是O(n^2)的时间复杂度,凉凉。

 

近些年Deep learning发展迅猛,并且在很多CV任务上表现良好。所以自然有人想把Deep learning 方法应用到Reid任务上。

目前Deep learning的做法一般分为两部分:

  • 使用softmax loss 结合person ID labels得到一个global representation
  • 首先用预定义好的body 刚体模型去得到local representation,然后将global 和local representation 融合。

目前用deep learning的方法效果已经不错了,比传统方法要好。但是目前的deep learning方法没有考虑到人的姿势(pose)的变化。

虽然目前也有些deep learning的办法在处理Reid问题时使用pose estimation algorithms 来预测行人的pose,

但是这种办法是手动完成而不是一个end-to-end(什么是end-to-end 神经网络) 的过程

所以考虑pose的潜力还没有被完全发掘。

这篇paper主要做了以下工作:

  • 提出了一种新的深层结构,将身体部分转化成相应的特征表示,以此来克服pose变化带来的问题
  • 提出了一个用来自动学习各部分权值的sub-network

这两部分工作都是end-to-end的

 

 

 

persion reid 论文列表

Key:

(1). Pose-driven, body part alignment, combine whole feature and body part feature, focus on alignment of part model,

(2). Combine image label and human attributes classes, do classification with attributes and identity learning

(3). Based on triplet loss, improve metric learning for an end to end learning

(4). Post-process, re-ranking

 

1. AlignedReID: Surpassing Human-Level Performance in Person Re-Identification

2. Hydraplus-net: Attentive deep features for pedestrian analysis.

3. Darkrank: Accelerating deep metric learning via cross sample similarities transfer.

4. Glad: Global-local-alignment descriptor for pedestrian retrieval.

 

  1. PDC: Pose-driven Deep Convolutional Model for Person Re-identification (ICCV2017)
  2. Spindle: Spindle Net: Person Re-identification with Human Body Region Guided Feature Decomposition and Fusion (CVPR 2017)
  3. MSML: Margin Sample Mining Loss: A Deep Learning Based Method for Person Re-identification
  4. DLPA: Deeply-Learned Part-Aligned Representation for Person Re-Identification (ICCV 2017)
  5. DTL: Deep Transfer Learning for Person Re-identification
  6. Unlabeled: Unlabeled Samples Generated by GAN Improve the Person Re-identification Baseline in vitro (ICCV 2017)
  7. In: In Defense of the Triplet Loss for Person Re-identification
  8. A: A Discriminatively Learned CNN Embedding for Person Re-identification
  9. DGD: Learning Deep Feature Representations with Domain Guided Dropout for Person Re-identification
  10. Quadruplet: Beyond triplet loss: a deep quadruplet network for person re-identification

 

1. AlignedReID: Surpassing Human-Level Performance in Person Re-Identification

2. Glad: Global-local-alignment descriptor for pedestrian retrieval.

3. Darkrank: Accelerating deep metric learning via cross sample similarities transfer.

4. Deep mutual learning

5. In Defense of the Triplet Loss fr Person Re-identification + Re-Ranking

6. Hydraplus-net: Attentive deep features for pedestrian analysis.

 

  1. MSML: Margin Sample Mining Loss: A Deep Learning Based Method for Person Re-identification
  2. In: In Defense of the Triplet Loss for Person Re-identification
  3. APR: Improving Person Re-dentification by Attribute and Identity Learning
  4. PDC: Pose-driven Deep Convolutional Model for Person Re-identification
  5. Unlabeled: Unlabeled Samples Generated by GAN Improve the Person Re-identification Baseline in vitro
  6. DTL: Deep Transfer Learning for Person Re-identification
  7. DLPA: Deeply-Learned Part-Aligned Representation for Person Re-Identification
  8. PIE: Pose Invariant Embedding for Deep Person Re-identification
  9. Re-rank: Re-ranking person re-identification with k-reciprocal encoding
  10. Spindle: Spindle Net: Person Re-identification with Human Body Region Guided Feature Decomposition and Fusion