Microsoft COCO（Common Objects in Context）是微软研发维护的一个大型的数据集。包含了30多万张图片和91个目标分类。可用于目标识别（Object Detection）、场景感知（Penoptic Segmentation）、语义分割（Stuff Segmentation）、标题生成（Image Captioning）等任务。

1 数据集下载
MS COCO数据集可以通过官方网站下载
https://cocodataset.org/#home

进入下载页面
https://cocodataset.org/#download

2017相关的为最新发布的数据集

包含三个图像数据文件（Train、Val、Test）和系列标注文件，针对不同的识别任务。

数据下载后解压，产生四个子目录，分别train2017、val2017、test2017和annotations。其中前面三个为训练、评估、测试的图像数据，annotations目录为这些图像的标注信息。包含针对多种任务类型的标注。目录结构如下

train2017			#训练图像目录
val2017				#评估图像目录
test2017			#测试图像目录
annotations 		#标注文件夹├── captions_train2017.json				#图像标题标注（训练集）├── captions_val2017.json				#图像标题标注（评估集）├── instances_train2017.json			#目标检测、语义分割标注（训练集）├── instances_val2017.json				#目标检测、语义分割标注（评估集）├── panoptic_train2017.json				#全景感知标注（训练集）├── panoptic_val2017.json				#全景感知标注（评估集）├── person_keypoints_train2017.json		#人体关键点检测标注（训练集）├── person_keypoints_val2017.json		#人体关键点检测标注（评估集）├── stuff_train2017.json				#目标检测、语义分割标注（训练集）└── stuff_val2017.json					#目标检测、语义分割标注（评估集）

2 数据读取
通过annotations中的文件可以提取图片以及对应的标注信息，以图像标题标注文件为例。
首先，载入需要的模块

import matplotlib.pyplot as plt
import matplotlib.image as mpimgimport json
import random

其中matplotlib用于显示数据集中的图片，以及对应的标注。json用于载入标注文件。random用于从数据中随机选择样本显示。

指定数据目录

# specify paths
data_path = '../data/COCO'
anno_path = f'{data_path}/annotations'
train_path = f'{data_path}/train2017'

然后读取图像标题标注文件

# load json file， caption annotations
json_file = f'{anno_path}/captions_train2017.json'with open(json_file, 'r') as f:json_data = json.load(f)images = json_data['images']
annotations = json_data['annotations']

载入的json数据包含多个成员变量。运行

json_data.keys()

显示

dict_keys(['info', 'licenses', 'images', 'annotations'])

包含info、license、images、annotations四个变量，其中images为图像信息，包含图像的大小、文件名等信息，annotations为标注信息

然后绘制2x2四张图片以及它们所对应的标题标注，代码如下

# lines and columns of subplots
m = 2
n = 2
num = m*n# size of figure
plt.figure(figsize=(12,12))# randomly choose images and plot
for i in range(num):# randomly choose imageimage_item = random.choice(images)image_id = image_item['id']image_file = f'{train_path}/{image_item["file_name"]}'captions = [anno['caption'] for anno in annotations if anno['image_id']==image_id]# subplotplt.subplot(m,n,i+1)img = mpimg.imread(image_file)plt.imshow(img)plt.xticks([])plt.yticks([])plt.xlabel('\n'.join(captions), fontsize=12)plt.show()

首先在图像列表images中随机选择4张图片，对于每一张图片，读取它们的id信息，然后在annotations中查找与这个图片相关的标注。最后绘制图片，并在图片下方显示图片的标题，多个标题以每一行进行分开。

显示结果如下

随机列出4张图片，每一张图片包含5个标题的标注。

参考链接：
https://blog.csdn.net/qq_44554428/article/details/122597358
https://blog.csdn.net/qq_52053775/article/details/126196060