本文主要介绍行人重识别（Person Re-identification, 简称 Re-ID）任务中最常用的三种公开数据集，包括 Market1501、Duke-MTMC 和 CUHK03，并说明如何将它们转换为适用于深度学习模型训练的标准文件结构。

在每个小节中，我们不仅会简要介绍数据集的来源、采集方式和样本构成，还将说明其文件组织方式、命名规则。

为了方便研究者快速上手，每个数据集介绍的最后都提供了已经整理、转换好的压缩包下载链接。 这些压缩包遵循统一的目录结构，直接解压即可用于模型训练，无需额外的预处理操作。

Re-ID 数据集

请注意，演示代码使用重新组织化的文件结构，以便代码可以无缝应用于三个数据集。

详细说明可以在本网站找到。

Market1501

提示

Market-1501 数据集是在清华大学的开放环境中，使用六台摄像机采集完成的。
该数据集共标注了 1501 名行人，其中 751 名用于训练，750 名用于测试，并包含 3368 张查询图像。
测试集中共有 19,732 张图像，训练集中共有 12,936 张图像。

如果您使用本数据集，请引用以下论文：

梁征*，王生进，沈立岳*，田路*，卜家豪，田奇。
《Person Re-identification Meets Image Search》，技术报告，2015。（* 表示共同贡献）

该数据集仅供科研使用，请勿分发或用于商业用途。

压缩包内容如下：

1. bounding_box_test 文件夹
   包含 19,732 张用于测试的图像。

2. bounding_box_train 文件夹
   包含 12,936 张用于训练的图像。

3. query 文件夹
   包含 3,368 张查询图像，检索过程在 bounding_box_test 文件夹中进行。

4. gt_bbox 文件夹
   包含 25,259 张手工标注的图像，覆盖训练集与测试集的全部 1501 名行人。
   该文件用于区分 “good”（有效样本）、“junk”（无效样本）和 “distractor”（干扰样本）。

5. gt_query 文件夹
   对于每一张查询图像（共 3368 张），都包含对应的 “good” 和 “junk” 相关图像（即相同行人）。
   文件中记录了这些相关图像的索引，用于性能评估阶段。

如有任何问题，请联系作者：liangzheng06@gmail.com

下载 Market1501 数据集： Google 百度 或使用命令行：

pip install gdown 
pip install --upgrade gdown #!!important!!
gdown 0B8-rUzbwVRk0c054eEozWG9COHM

其目录结构如下：

Market-1501-v15.09.15

bounding_box_test

0000_c1s1_000151_01.jpg

0000_c1s1_000376_03.jpg

0000_c1s1_000801_03.jpg

...

bounding_box_train

...

gt_bbox

...

gt_query

...

query

...

readme.txt

准备工作：将具有相同 id 的图像放在一个文件夹中。您可以运行 prepare 文件 。

python prepare.py

请记住将数据集路径更改为您自己的路径。

提示

下面是转化后的目录结构，转好的数据集我已上传至 Google Drive，你也可以直接下载使用。

re-id-market

gallery

-1

…

0000

…

0001

…

...

multi-query

0001

…

0002

…

0003

…

...

query

0001

…

0003

…

0004

…

...

train

0002

…

0007

…

0010

…

...

train_all

0002

…

0007

…

0010

…

...

val

0002

…

0007

…

0010

…

...

Duke-MTMC

提示

DukeMTMC-reID 是 DukeMTMC 数据集的一个子集，用于基于图像的行人重识别（Person Re-identification），其格式与 Market-1501 数据集相同。
原始 DukeMTMC 数据集包含来自 8 个不同摄像机的 85 分钟高分辨率视频，并提供了人工标注的行人边界框。

在本数据集中，从视频中每隔 120 帧裁剪一次行人图像，共得到 36,411 个带有身份标注的行人边界框。
其中，1,404 个身份出现在两个以上的摄像机中，另外 408 个身份（称为干扰 ID）仅出现在一个摄像机中。
研究者随机选择其中 702 个身份作为训练集，其余 702 个身份作为测试集。
在测试集中，每个身份在每个摄像机中选取一张图像作为查询（query），其余图像作为图库（gallery）。

最终数据分布如下：
训练集包含 702 个身份，共 16,522 张图像；
查询集包含 702 个身份，共 2,228 张查询图像；
图库（测试集）包含 17,661 张图像。

数据集文件结构如下：

文件夹	内容说明
/bounding_box_test	图库图像，查询时从此文件夹中检索匹配结果。
/bounding_box_train	训练图像，包含 702 个不同身份的行人图像。
/query	查询图像，每张图像来自不同身份及不同摄像机。

文件命名规则如下：
例如文件名 “0005_c2_f0046985.jpg” 中，
“0005” 表示行人 ID；
“c2” 表示图像来自第 2 号摄像机；
“f0046985” 表示该帧是摄像机 2 的第 46985 帧。

使用数据集时，请遵守以下许可证：

• DukeMTMC-reID 的许可证请参考 LICENSE_DukeMTMC-reID。
  该许可证允许在规定条件下自由分享、创建和修改 DukeMTMC-reID 数据集。
• 同时附带原始 DukeMTMC 数据集的 LICENSE_DukeMTMC。
  若要分享或改编原始 DukeMTMC 数据集，请遵守该许可证的条款。

若此数据集对您的研究有帮助，请引用以下论文：

Zheng, Zhedong; Zheng, Liang; Yang, Yi.
《Unlabeled Samples Generated by GAN Improve the Person Re-identification Baseline in vitro》，
发表于 IEEE 国际计算机视觉大会（ICCV），2017。

Ristani, Ergys; Solera, Francesco; Zou, Roger; Cucchiara, Rita; Tomasi, Carlo.
《Performance Measures and a Data Set for Multi-Target, Multi-Camera Tracking》，
发表于欧洲计算机视觉大会（ECCV）多目标跟踪评测研讨会，2016。

DukeMTMC-reID Dataset（GoogleDriver 或（百度云密码：bhbh）），或者使用命令行：

gdown 1jjE85dRCMOgRtvJ5RQV9-Afs-2_5dY3O

其目录结构如下：

DukeMTMC-reID

bounding_box_test

0000_c1s1_000151_01.jpg

0000_c1s1_000376_03.jpg

0000_c1s1_000801_03.jpg

...

bounding_box_train

...

query

...

.DS_Store

CITATION.txt

LICENSE_DukeMTMC.txt

LICENSE_DukeMTMC-reID.txt

README.md

准备工作：将具有相同 id 的图像放在一个文件夹中。您可以运行 prepare 文件 。

python prepare.py

提示

下面是转化后的目录结构，转好的数据集我已上传至 Google Drive，你也可以直接下载使用。

re-id-duke

gallery

0002

…

0003

…

0004

…

...

query

0005

…

0019

…

0021

…

...

train

0001

…

0008

…

0013

…

...

train_all

0001

…

0008

…

0013

…

...

val

0001

…

0008

…

0013

…

...

CUHK03

1. 经典划分

   2014年，论文 DeepRelD: Deep Fiter Pairing Neural Network for Person Re-ldentification 提出了 CUHK03 数据集，文中说数据集共包含 1360 个行人，训练集 1160 个行人，验证集 100 个行人，测试集 100 个行人。实验一共重复执行了 20 次上述随机划分。数据集划分在论文中被称作训练/测试协议，这种测试协议是 single-shot setting，即每个行人在 gallery 里只有一张图片。

2. 新的划分

   2017年，论文 Re-ranking person re-identification with k-reciprocal encoding 针对 CUHK03 数据集提出了新的训练/测试协议(数据集划分方法)。在新的测试协议下，数据集中共包含 1467 个行人。其中，训练集中有 767 个行人，测试集中有 700 个行人。从所有摄像头中，为测试集中的每个行人随机选取一张图片，构成 query 集。测试集剩下的行人图片构成 galery 集。因此，这是一个multi-shot 的测试协议，每个行人在 galery 集中有多张图片，不同于旧的测试协议，新的测试协议只执行一次训练集,测试集划分。

CUHK03 数据集官网：CUHK Person Re-identification Datasets

我们遵循 Re-ranking person re-identification with k-reciprocal encoding 中描述的设置并使用 detected 的版本进行评估。

其目录结构如下：

cuhk03-np

detected

bounding_box_test

0003_c1_21.png

0003_c1_23.png

0003_c1_24.png

...

bounding_box_train

...

query

...

labeled

…

准备工作：将具有相同 id 的图像放在一个文件夹中。您可以运行 prepare 文件 。

注意

注意：CUHK 数据集是 png 文件，因此要修改 prepare.py 中的 jpg 后缀为 png 。

python prepare.py

提示

下面是转化后的目录结构，转好的数据集我已上传至 Google Drive，你也可以直接下载使用。

re-id-chuk

gallery

0003

0003_c1_21.png

0003_c1_23.png

0003_c1_24.png

0003_c1_25.png

0003_c1_26.png

0003_c1_28.png

0003_c1_29.png

0006

…

0007

…

...

query

0003

…

0006

…

0007

…

...

train

0001

…

0002

…

0004

…

...

train_all

0001

…

0002

…

0004

…

...

val

0001

…

0002

…

0004

…

...