白癜风 http://m.39.net/news/a_9044587.html
简介机器学习算法目前可以分为监督学习、无监督学习、自监督学习和强化学习。

其中：

监督学习模型的性能在一定程度上依赖于有标记训练数据的数量，但是人工手动标注数据既耗时又昂贵；无监督学习和强化学习目前解决的场景问题有限；自监督学习不需要有标记的训练数据，并可以通过微调使几乎所有下游任务受益，所以近年来自监督学习的研究越来越火热。什么是自监督学习自监督学习是指不依赖于人工标注的标签，通过挖掘训练数据本身内在特征来进行网络训练的一种机器学习方法。其目标是：学习一种通用的特征表达，这种特征表达可以方便的迁移到下游任务。自监督学习的实现方法可以分为两大类：生成式（预测式）方法和对比式方法。

生成式（预测式）方法通过模型对输入进行编码再解码，以期望获取和输入完成相同的输出为目标。例如NLP领域中Bert的掩码语言模型（MLM，MaskedLanguageModeling），随机抹除输入中的部分tokens，通过自监督训练来预测出这些tokens；CV领域何恺明 提出的MAE（MaskedAutoEncoders），将样本图像划分为多个patch，随机抹除大部分的patch，通过非对称式的Encoder和Decoder在像素级完成被抹除图像的重建。对比式方法的基本指导思想是：通过自动构造正样本对和负样本对，学习一种特征表达，通过这个特征表达，使得正样本对在投影空间中比较接近，而负样本对在投影空间中尽量远离。本文主要介绍对比式方法中的代表作MoCo系列。对比式自监督学习如何工作对比自监督学习的基本原则为：对于给定数据，其目标是学习一种编码器（特征表达），使得同类样本编码后的特征距离较近，异类样本编码后的特征距离较远。可以用如下公式表示：为了优化上述编码器，我们可以构建一个基于softmax的交叉熵作为损失函数，公式如下：其中：

为超参数。在对比式监督学习中也叫做infoNCEloss（Infonoise-contrastiveestimation），样本中只有一个正例和K个负例，本质上可以看成K+1类的分类问题。

MoCoV1介绍完对比式自监督学习的基本原则和工作方式后，简单介绍下MoCo系列自监督学习算法。MoCo由何恺明团队提出，通过MoCo学习得到的编码器在图像分类、目标检测、实例分割等下游任务上都达到甚至超过了有监督学习模型的水平。由对比学习的基本思想可知，对比学习的关键是构建正负样本对，MoCoV1的正样本对为从同一张图像样本上随机裁切出的两张图片，负样本为从不同图像样本上随机裁切出的两张图片，MoCo

转载请注明:http://www.aideyishus.com/lkzp/262.html