深度学习中，自监督(self-supervised)和无监督(unsupervised)有什么区别？
关注者
148
被浏览
721,541
12 个回答
自监督(self-supervised)既可以认为是有监督(supervised)也可以认为是无监督(unsupervised)，主要取决于如何定义有监督。
一般意义上的有监督，是需要提供人为标注的监督信号；自监督需要提供直接在数据上构造的监督信号。
比如通过拼图的方式构造
比如通过对比学习的方式构造
总之，自监督的监督信号来源于数据本身的内容，也就是自己给自己监督信号(self的含义)。也可以认为是实例级别的标注，每个样本是一个类。
所以，如果按照有人为标注的监督信号是有监督，那么自监督划分到无监督范围。如果按照有监督信号是有监督，那么自监督划分到有监督范围。
欢迎关注 Smarter ，构建CV世界观，输出优质内容
欢迎加入Smarter交流群，添加微信 「cjy094617」 ，备注 「学校-方向」 即可
自监督学习实际上是无监督的一个变种，根据牛津大学Andrew Zisserman给出的定义，自监督是数据能够提供监督信息的一种无监督学习方式，链接是他的一个关于自监督学习的报告。
自监督学习通过解决自定义的pretext task，进行模型的预训练，将训练好的模型进行迁移或是微调以解决特定的任务，举个例子，在Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles这篇论文里面，作者通过让模型解决拼图问题来学习良好的特征表示，即把图片区域分成9个部分，让模型能够对打乱的图片进行排序，然后将训练好的模型进行微调在PASCAL VOC数据集上进行实验。