监察器

田渊栋团队新作为什么非对比自监督学习效果

发布时间:2022/7/26 15:25:01   
北京治疗白癜风需要多少费用 http://m.39.net/pf/bdfyy/

新智元报导

起源:arXiv

编纂:好困

非对照自监视进修延续存在着几个基础理论题目:怎样防止表征崩溃?进修到的表征的性质是甚么?不日,田渊栋团队初次对模子熬炼的作为以及多个超参数的阅历效应举行了剖析,并提议了极其容易的展望器配置法子,论文曾经被ICML吸收。

自监视进修(SSL)的对照如法经过最小化统一数据点(positivepairs)的两个增加视图之间的间隔,和最大化不同数据点(negativepairs)的视图之间的间隔来进修表征。

近来BYOL和SimSiam的非对照自监视进修法子在没有negativepairs的情状下也能呈现出优秀的本能。

那末,为甚么这些法子没有形成表征崩溃?

近期,田渊栋团队发布了一篇论文对这个题目举行了商议,而且曾经被ICML吸收。



转载请注明:http://www.aideyishus.com/lkjg/1020.html

------分隔线----------------------------

热点文章

  • 没有热点文章

推荐文章

  • 没有推荐文章