当前位置: 监察器 >> 监察器市场 >> 田渊栋团队新作为什么非对比自监督学习效果
新智元报导
起源:arXiv
编纂:好困
非对照自监视进修延续存在着几个基础理论题目:怎样防止表征崩溃?进修到的表征的性质是甚么?不日,田渊栋团队初次对模子熬炼的作为以及多个超参数的阅历效应举行了剖析,并提议了极其容易的展望器配置法子,论文曾经被ICML吸收。自监视进修(SSL)的对照如法经过最小化统一数据点(positivepairs)的两个增加视图之间的间隔,和最大化不同数据点(negativepairs)的视图之间的间隔来进修表征。
近来BYOL和SimSiam的非对照自监视进修法子在没有negativepairs的情状下也能呈现出优秀的本能。
那末,为甚么这些法子没有形成表征崩溃?
近期,田渊栋团队发布了一篇论文对这个题目举行了商议,而且曾经被ICML吸收。