研究目的
从红外视频中估计深度是计算机视觉领域的一个难题。由于红外视频具有低分辨率成像特性且场景复杂多变,难以利用视频上下文线索提取特征并预测深度。但红外视频拥有诸多无可比拟的优势:红外成像既不受昼夜限制,也不受雾天天气影响。因此,提出一种有效的红外视频深度估计方法具有重要意义。
研究成果
所提出的LFFNN方法能有效从红外视频中提取深度相关特征,在性能上优于其他方法。该方法能动态学习视频序列中的特征,确保提取的特征具有时序性,并结合先验帧间特征以实现更优的深度估计。
研究不足
测距雷达的测量上限为100米,超过100米深度的点被视为无限深。红外相机与测距雷达未完全同步,导致深度数据存在配准误差。
1:实验设计与方法选择:
LFFNN旨在提取红外视频每帧的局部特征,同时整合前一帧的帧间特征。该网络采用三个控制门实现帧间特征传递。
2:样本选择与数据来源:
数据集包含4500组由车载红外摄像头和测距雷达采集的户外场景,其中3500组用于训练,1000组用于测试。
3:实验设备与材料清单:
红外摄像头、测距雷达,以及配备GTX 1070显卡的计算机用于模型训练与测试。
4:实验流程与操作步骤:
使用PyTorch框架配合Adam优化算法(学习率10^-6)进行模型训练,以连续红外视频帧与深度图作为训练数据。
5:数据分析方法:
通过平均相对误差(MRE)、均方根误差(RMSE)和log10误差(LE)等常用指标评估模型性能。
独家科研数据包,助您复现前沿成果,加速创新突破
获取完整内容