泡泡图灵智库，带你精读机器人顶级会议文章

标题:ThreeWaystoImproveSemanticSegmentationwithSelf-SupervisedDepthEstimation

作者：LukasHoyer,DengxinDaiYuhuaChen,GuangmingShi

来源：arXiv

编译：cristin

审核:zhh

这是泡泡图灵智库推送的第篇文章，欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

大家好，今天为大家带来的文章ThreeWaystoImproveSemanticSegmentationwithSelf-SupervisedDepthEstimation。

为语义分割训练深层网络需要大量标记的训练数据，这在实践中是一个重大挑战，因为标记分割掩码是一个高度劳动密集的过程。为了解决这个问题，我们提出了一个半监督语义分割框架，该框架通过从未标记图像序列中进行自监督单目深度估计来增强。特别是，我们提出了三个主要贡献：（1）我们将自监督深度估计过程中学习到的特征知识转移到语义分割；（2）我们通过使用场景的几何结构混合图像和标签来实现强大的数据增强；（3）我们还利用深度特征多样性根据学习难度的高低，在student-teacher框架下选择最有用的样本进行语义切分。我们在Cityscapes数据集上验证了所提出的模型，其中模块显示了显著的性能提升，我们实现了半监督语义分割的最新成果。

主要工作与贡献

我们的方法的主要优点是，我们可以从大量易于访问的未标记图像序列中学习，并利用学习到的知识以各种方式提高语义分割性能。我们的贡献总结如下：

1)据我们所知，我们是第一个利用SDE作为辅助任务来利用未标记图像序列的人，并显著提高了半监督语义分割的性能。

2)我们提出了DepthMix，这是一种强大的数据增强策略，它尊重场景的几何结构，并结合（1）实现了半监督语义分割的最新结果。

3)为了提高主动学习的灵活性，我们提出了一种基于SDE的自动标注数据选择方法。它将人工注释器替换为SDEoracle，并提高了在数据选择循环中使用人工的要求。

算法流程

1.系统框架

在这项工作中，我们提出了一种利用自监督单目深度估计（SDE）的三重方法，以提高语义分割的性能，并减少所需的注释量。我们的贡献跨越了整体学习过程，从数据选择、数据扩充到跨任务表示学习，同时通过使用SDE实现了统一。

在本节中，我们将介绍三种使用自监督深度估计（SDE）提高语义分割性能的方法。他们

转载请注明:http://www.aideyishus.com/lktp/491.html