ICRA'23 | 第一届RoboDepth鲁棒深度估计竞赛-轻识

ICRA'23 | 第一届RoboDepth鲁棒深度估计竞赛

首届“RoboDepth: Robust Out-of-Distribution Depth Estimation”竞赛将于The 40th IEEE Conference on Robotics and Automation (ICRA 2023)期间举办，欢迎大家了解及参与！

竞赛主页：https://robodepth.github.io
竞赛时间：2023.01.01 - 2023.05.26
竞赛Toolkit：https://github.com/ldkong1205/RoboDepth
CodaLab主页：https://codalab.lisn.upsaclay.fr/competitions/9200
竞赛联系邮箱：robodepth@outlook.com
竞赛主办方：新加坡国立大学(NUS)、卡耐基梅隆大学(CMU)等

竞赛概览

本届RoboDepth鲁棒深度估计竞赛为该系列竞赛的第一届，将于ICRA 2023期间举办。

深度估计作为计算机视觉、模式识别和机器人感知等学科中的一个重要交叉任务，在近年来得到了大量的关注和显著的进步。与以往主要关注深度估计的精度不同，在RoboDepth竞赛中，我们在评测模型预测准确率的同时更加强调模型的鲁棒性，即：在“干净”数据上训练得到的模型在“损坏”数据上的深度估计性能。

在这样一个赛道上，如何正确定义“损坏”数据往往决定着该任务是否合理和有效。为此，我们从以下三个角度出发，归纳和总结了18种在真实条件下有较大概率出现的数据“损坏”形式：

1、天气与光照(weather & lighting)：现有的深度估计数据集中的数据往往在“正常”且“良好”的天气与光照条件下所收集。然而，对深度估计感知的需求可能是全天候的；雨天、雾天、黑夜等各异的天气与光照情况均会对深度估计模型的预测性能造成影响。为此，我们以“正常”天气为基础模拟了强光(brightness)、弱光(dark)、雾(fog)、霜(frost)、雪(snow)等情况的深度估计数据。

2、传感器与运动(sensor & movement)：传感器设备本身及其在工作过程中可能产生的运动(如汽车在颠簸路面上行驶造成的相机抖动等)可能对所收集的数据本身造成严重影响。为此，我们特别考虑了四种畸变，即失焦(defocus)模糊、毛玻璃(glass)模糊、运动(motion)模糊和缩放(zoom)模糊。与此同时，我们还考虑了传感器设备运行时可能出现的“损坏”情形，如弹性变换(elastic transform)及颜色量化(color quantization)。

3、数据与处理(data & processing)：传感器的工作(数据采集)和传输过程中可能出现各种各样的噪声影响。这些噪声往往不可避免，给深度估计模型的训练和预测造成一定影响。为此，我们考虑了四种噪声，即高斯(Gaussian)噪声、脉冲(impulse)噪声、椒盐(shot)噪声和ISO噪声。除此之外，我们还考虑数据传输时伴随的像素化(pixelate)和JPEG压缩等情形。

我们相信，一个鲁棒的深度估计模型能够在上述所定义的合理的数据“损坏”形式下，展现出较优的预测性能。这样一种应对“训练分布外”情况(out-of-training-distribution)的能力，使得模型能够在部署于真实环境时依旧保持可靠且准确的深度估计性能。

为了区分我们在RoboDepth鲁棒深度估计基线中对现有方法进行的评测，以及鼓励参赛者设计更多鲁棒的深度估计模型，在本次RoboDepth竞赛中，我们提供了更有挑战性的评测数据。

与基线中单独考虑各种数据“损坏”形式不同，我们在每个深度估计实例中混合了随机从(1)天气与光照、(2)传感器与运动和(3)数据与处理等三大类“损坏”来源中采样的“损坏”形式，以生成“多损坏来源”的深度估计数据。与此同时，我们也按照数据“损坏”等级对评测集进行了区分，以求对参赛者所提出的深度估计模型作出全面且系统的评价与验证。

竞赛安排

2023.01.01：竞赛正式开始@CodaLab
2023.05.25：竞赛结束
2023.05.29：竞赛总结和讨论
2023.06.02：竞赛结果宣布及颁奖@ICRA'23

竞赛@CodaLab

本次RoboDepth竞赛的评测部分依照CodaLab平台搭建。有关参赛事宜、提交指南及评测指标等细节，请参阅：https://codalab.lisn.upsaclay.fr/competitions/9200

参数规则

为保证评测的公平性，请使用学校邮箱或公司邮箱注册参赛；请勿使用qq、163、gmail等邮箱进行注册。
每位在CodaLab平台注册的参赛者每天至多提交2次结果；请于对应赛道(即自监督鲁棒深度估计与全监督鲁棒深度估计)的评测平台进行模型鲁棒性评测。
请使用指定训练集中的数据进行模型训练；请勿使用指定数据集之外的任意公开或私有的数据集进行模型训练。
请使用指定的数据增强方法进行模型训练；请勿使用指定数据增强方法之外的其他方法对训练数据进行处理。
为确保竞赛的公平性，请每位参赛者于最终结果宣布前提交可复现结果的模型代码；我们将手动对各参赛者的模型进行训练和测试等的验证。

竞赛奖励

我们为名列前三甲的参赛者提供了现金奖励。具体奖励金额为：🏅第一名(冠军)1000美元，🥈第二名(亚军)600美元，🥉第三名(季军)400美元。预祝各位参赛者取得理想的成绩！

了解更多

竞赛官方主页：https://robodepth.github.io
竞赛官方GitHub账号：https://github.com/RoboDepth
竞赛Toolkit：https://github.com/ldkong1205/RoboDepth
竞赛联系邮箱：robodepth@outlook.com