深度学习中,自监督(self-supervised)和无监督(unsupervised)有什么区别?

关注者
148
被浏览
721,541

12 个回答

自监督(self-supervised)既可以认为是有监督(supervised)也可以认为是无监督(unsupervised),主要取决于如何定义有监督。

一般意义上的有监督,是需要提供人为标注的监督信号;自监督需要提供直接在数据上构造的监督信号。

比如通过拼图的方式构造

比如通过对比学习的方式构造

总之,自监督的监督信号来源于数据本身的内容,也就是自己给自己监督信号(self的含义)。也可以认为是实例级别的标注,每个样本是一个类。

所以,如果按照有人为标注的监督信号是有监督,那么自监督划分到无监督范围。如果按照有监督信号是有监督,那么自监督划分到有监督范围。


欢迎关注 Smarter ,构建CV世界观,输出优质内容

欢迎加入Smarter交流群,添加微信 「cjy094617」 ,备注 「学校-方向」 即可

自监督学习实际上是无监督的一个变种,根据牛津大学Andrew Zisserman给出的定义,自监督是数据能够提供监督信息的一种无监督学习方式,链接是他的一个关于自监督学习的报告。

自监督学习通过解决自定义的pretext task,进行模型的预训练,将训练好的模型进行迁移或是微调以解决特定的任务,举个例子,在Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles这篇论文里面,作者通过让模型解决拼图问题来学习良好的特征表示,即把图片区域分成9个部分,让模型能够对打乱的图片进行排序,然后将训练好的模型进行微调在PASCAL VOC数据集上进行实验。