刘颖, 雷研博, 范九伦, 王富平, 公衍超, 田奇. 基于小样本学习的图像分类技术综述. 自动化学报, 2021, 47(2): 297−315 doi: 10.16383/j.aas.c190720 引用本文: 刘颖, 雷研博, 范九伦, 王富平, 公衍超, 田奇. 基于小样本学习的图像分类技术综述. 自动化学报, 2021, 47 (2): 297−315 doi: 10.16383/j.aas.c190720 Liu Ying, Lei Yan-Bo, Fan Jiu-Lun, Wang Fu-Ping, Gong Yan-Chao, Tian Qi. Survey on image classification technology based on small sample learning. Acta Automatica Sinica, 2021, 47(2): 297−315 doi: 10.16383/j.aas.c190720 Citation: Liu Ying, Lei Yan-Bo, Fan Jiu-Lun, Wang Fu-Ping, Gong Yan-Chao, Tian Qi. Survey on image classification technology based on small sample learning. Acta Automatica Sinica, 2021, 47 (2): 297−315 doi: 10.16383/j.aas.c190720 刘颖, 雷研博, 范九伦, 王富平, 公衍超, 田奇. 基于小样本学习的图像分类技术综述. 自动化学报, 2021, 47(2): 297−315 doi: 10.16383/j.aas.c190720 引用本文: 刘颖, 雷研博, 范九伦, 王富平, 公衍超, 田奇. 基于小样本学习的图像分类技术综述. 自动化学报, 2021, 47 (2): 297−315 doi: 10.16383/j.aas.c190720 Liu Ying, Lei Yan-Bo, Fan Jiu-Lun, Wang Fu-Ping, Gong Yan-Chao, Tian Qi. Survey on image classification technology based on small sample learning. Acta Automatica Sinica, 2021, 47(2): 297−315 doi: 10.16383/j.aas.c190720 Citation: Liu Ying, Lei Yan-Bo, Fan Jiu-Lun, Wang Fu-Ping, Gong Yan-Chao, Tian Qi. Survey on image classification technology based on small sample learning. Acta Automatica Sinica, 2021, 47 (2): 297−315 doi: 10.16383/j.aas.c190720 作者简介:

刘颖：西安邮电大学通信与信息工程学院教授. 主要研究方向为图像视频检索. 本文通信作者.E-mail: [email protected]

雷研博：西安邮电大学通信与信息工程学院硕士研究生. 主要研究方向为图像检索.E-mail: [email protected]

范九伦：西安邮电大学校长. 主要研究方向为模式识别与图像处理.E-mail: [email protected]

王富平：西安邮电大学通信与信息工程学院讲师. 主要研究方向为图像特征提取.E-mail: [email protected]

公衍超：西安邮电大学通信与信息工程学院讲师. 主要研究方向为视频编码, 码率控制.E-mail: [email protected]

田奇：华为云首席科学家. 研究方向为多媒体检索, 计算机视觉, 机器学习和模式识别.E-mail: [email protected]

图像分类的应用场景非常广泛, 很多场景下难以收集到足够多的数据来训练模型, 利用小样本学习进行图像分类可解决训练数据量小的问题. 本文对近年来的小样本图像分类算法进行了详细综述, 根据不同的建模方式, 将现有算法分为卷积神经网络模型和图神经网络模型两大类, 其中基于卷积神经网络模型的算法包括四种学习范式: 迁移学习、元学习、对偶学习和贝叶斯学习; 基于图神经网络模型的算法原本适用于非欧几里得结构数据, 但有部分学者将其应用于解决小样本下欧几里得数据的图像分类任务, 有关的研究成果目前相对较少. 此外, 本文汇总了现有文献中出现的数据集并通过实验结果对现有算法的性能进行了比较. 最后, 讨论了小样本图像分类技术的难点及未来研究趋势. 迁移学习 /  元学习 /  对偶学习 /  贝叶斯学习 /  图神经网络 Abstract: Image classification is widely used in different fields. However in many scenarios, it is difficult to collect sufficient data to train the model for classification. Small sample learning provides a solution to this problem. This paper provides a comprehensive survey on recent small sample learning techniques for image classification. Existing algorithms are divided into two categories based on different modeling methods: Convolution based neural network model and graph based neural network model. The algorithms based on convolution neural network model include four learning paradigms: transfer learning, meta learning, dual learning and Bayesian learning. The algorithm based on graph neural network model was originally suitable for non Euclidean data, but some scholars applied it to solve the image classification task of Euclidean data under small samples, which is relatively scarce. In addition, this paper summarizes the existing data sets in literature and compares the performance of existing algorithms through experiments. Finally, the challenges and research trends in small sample image classification are discussed. Key words: Transfer learning /  meta learning /  dual learning /  Bayesian learning /  graph neural network  Omniglot 5way-1shot 5way-5shot 20way-1shot 20way-5shot 基于度量的元学习 MN ^{[ 9 ]} 98.12 99.63 94.40 98.78 文献 [ 40 ] 90.80 96.70 77.00 91.00 MMN ^{[ 42 ]} 99.28 99.77 97.16 98.93 PN ^{[ 29 ]} 98.80 99.18 92.11 97.57 RN ^{[ 30 ]} 99.48 99.60 97.67 98.97 基于模型的元学习 Meta-Nets ^{[ 78 ]} 98.00 99.60 96.90 98.50 基于优化的元学习 MAML ^{[ 79 ]} 98.79 99.48 93.43 95.33 文献 [ 88 ] — — 97.65 99.33 Reptile ^{[ 89 ]} 97.50 99.87 93.75 97.68 Mini-ImageNet 5way-1shot 5way-5shot 基于度量的元学习 MN ^{[ 9 ]} 44.38 57.78 PN ^{[ 29 ]} 44.43 66.04 RN ^{[ 30 ]} 50.13 64.33 MMN ^{[ 42 ]} 53.37 66.97 基于模型的元学习 DML ^{[ 32 ]} 58.49 71.28 AAN ^{[ 87 ]} 54.89 62.37 MTL ^{[ 84 ]} 61.20 75.50 基于优化的元学习 MAML ^{[ 79 ]} 43.09 60.63 Reptile ^{[ 89 ]} 48.21 66.00 文献 [ 90 ] 43.44 60.00 文献 [ 88 ] 52.15 68.32 Omniglot Mini-ImageNet 5way-1shot 5way-5shot 20way-1shot 20way-5shot 5way-1shot 5way-5shot GCN ^{[ 107 ]} 99.26 99.72 97.66 99.10 53.03 64.78 TPN ^{[ 109 ]} 99.26 99.44 96.48 98.59 54.44 67.05 EGNN ^{[ 108 ]} 99.75 99.77 98.62 99.62 62.34 75.77 算法 轮胎数据集 分类精度 5way-1shot 5way-5shot 文献 [ 79 ] 表面 67.09 85.55 压痕 77.66 87.32 混合 46.03 64.00 文献 [ 78 ] 表面 53.46 78.42 压痕 66.13 80.45 混合 42.80 63.53 文献 [ 107 ] 表面 77.46 89.52 压痕 77.76 92.00 混合 58.04 79.98 文献 [ 31 ] 表面 72.71 91.03 压痕 76.42 91.76 混合 51.84 81.02 文献 [ 30 ] 表面 63.97 81.60 压痕 73.71 84.54 混合 48.21 65.20 算法 数据增强 训练策略 分类度量方式 数据集 基于特征的迁移学习 文献 [ 61 ] 函数变换增加训练样本 CNN 表示学习阶段 + 小样本学习阶段 全连接层 + Softmax ImageNet SSMN ^{[ 62 ]} CNN + LSTM 局部特征度量 + 全局特征度量 嵌入向量 + 点乘 DiPART、PPM、Cross-DiPART-PPM 基于关系的迁移学习 文献 [ 39 ] 采用伪样本数据 CNN 知识蒸馏 全连接层 + Softmax MNIST 文献 [ 75 ] CNN 1×1卷积核知识蒸馏 全连接层 + Softmax CIFAR-10、CIFAR-100 基于共享参 数的迁移
学习 文献 [ 76 ] 裁剪 CNN 预训练模型 + 微调 全连接层 + Softmax PASCAL VOC 2007、PASCALVOC 2012 文献 [ 77 ] CNN 分类权重嵌入 全连接层 + Softmax CUB-200 PPA ^{[ 55 ]} CNN 在激活函数和 Softmax 之间建模, 预测类别的分类参数 全连接层 + Softmax Mini-ImageNet 基于度量的元学习 文献 [ 43 ] CNN 孪生网络 + 距离度量 嵌入向量 + 欧氏距离 Omniglot MN ^{[ 9 ]} 仿射变换 CNN + LSTM 注意力模块 + 样本间匹配 嵌入向量 + 余弦距离 Omniglot、Mini-ImageNet MMN ^{[ 42 ]} CNN + bi-LSTM 记忆读写控制模块 + 样本间匹配 嵌入向量 + 点乘 Omniglot、Mini-ImageNet PN ^{[ 29 ]} CNN 聚类 + 样本间原型度量 嵌入向量 + 欧氏距离 Omniglot、Mini-ImageNet RN ^{[ 30 ]} 旋转 CNN 不同样本在特征空间比较 全连接层 + Softmax Omniglot、Mini-ImageNet 文献 [ 81 ] CNN 利用嵌入特征回归分类参数 + 不同样本映射到同一嵌入空间进行相似性度量 全连接层 + Softmax Omniglot、Mini-ImageNet 基于优化的元学习 MAML ^{[ 79 ]} 旋转 利用基于梯度的学习来更新每个元任务的参数 Omniglot、Mini-ImageNet Reptile ^{[ 89 ]} 将梯度下降计算的参数与初始化参数的差用于参数梯度更新 Omniglot、Mini-ImageNet 文献 [ 90 ] 利用 LSTM 模型学习优化算法 Mini-ImageNet 基于模型的元学习 Meta-Nets ^{[ 78 ]} 旋转 CNN + LSTM记忆模块 + Meta learner + Base learner 全连接层 + Softmax Omniglot、Mini-ImageNet DML ^{[ 32 ]} CNN 概念生成器 + 概念判决器 + Meta learner 全连接层 + Softmax CUB-200、CIFAR-100、Mini-ImageNet 文献 [ 34 ] CNN + LSTM对样本和标签进行绑定编码使用外部记忆存储模块 全连接层 + Softmax Omniglot 基于模型的元学习 文献 [ 85 ] 函数变换增加训练样本 CNN 利用数据增强提升元学习 全连接层 + Softmax ImageNet 文献 [ 86 ] CNN 减小大数据集和小数据集分类器间的差异 SVM CUB-200 AAN ^{[ 87 ]} CNN 注意力模块 + 增量学习 + 元学习针对样本生成相应的分类参数 全连接层 + Softmax Mini-ImageNe、Tiered-ImageNet 自动编码机 SFA ^{[ 31 ]} 使用编码 − 解码机制进行特征增加 CNN 通过扰动语义空间特征实现样本特征增加 全连接层 + Softmax CUB-200、CIFAR-100、Mini-ImageNet 图卷积神经网络 GCN ^{[ 107 ]} GCN 利用图节点标签信息, 隐式地对类内和类间样本关系进行建模 全连接层 + Softmax Omniglot、Mini-ImageNet EGNN ^{[ 108 ]} GCN 通过预测边标签, 显式地对类内和类间样本进行建模 全连接层 + Softmax Mini-ImageNet、Tiered-ImageNet TPN ^{[ 109 ]} GCN 流型假设 + 标签传播 全连接层 + Softmax Mini-ImageNet、Tiered-ImageNet 毛国勇, 张宁. 从节点度数生成无向简单连通图. 计算机工程与应用, 2011, 47 (29): 40−41, 106 doi: 10.3778/j.issn.1002-8331.2011.29.011

Mao Guo-Yong, Zhang Ning. Building connected undirected simple graph from degree of vertex. Computer Engineering and Applications, 2011, 47 (29): 40−41, 106 doi: 10.3778/j.issn.1002-8331.2011.29.011 Key Laboratory of Electronic Information Processing for Applications in Crime Scene Investigation, Ministry of Public Security. The pattern image database of image processing team of Xi＇ an University of Posts and Telecommunications [Online], available : http://www.xuptciip.com.cn/show.html?database-lthhhw , January 1, 2019.

地址：北京中关村东路95号 邮政编码：100190 E-mail： [email protected]

电话：010-82544677 (日常咨询和稿件处理)， 010-82544653(费用管理、寄刊)

北京仁和汇智信息技术有限公司 开发 技术支持： [email protected]