研究目的
开发一种在视频序列中同时进行多光谱前景分割和立体配准的方法，以应对低对比度和视差效应等挑战。
研究成果
所提出的方法有效整合了多光谱数据以实现同步分割与配准，在性能上超越了当前最先进的单目和监督方法。该方法在低对比度条件下仍能保持稳健表现，并具备时间连贯性。未来工作可包括引入更强的连贯性约束、显式遮挡处理以及向实例级分割的泛化应用。
研究不足
该方法假设使用已校准的立体像对，可能无法很好地处理大基线立体图像。遮挡处理未明确实现，在高度杂乱的场景或极低对比度情况下性能可能下降。计算复杂度随时间管线深度的增加而上升。
1：实验设计与方法选择：
该方法通过条件随机场上的移动优化算法，交替最小化两个能量函数（立体匹配与分割）。通过高阶项整合形状和外观线索，并结合动态先验和时间一致性。
2：样本选择与数据来源：
使用多个多光谱数据集，包括Palmero等人（2016）修改版的VAP数据集、Bilodeau等人（2014）的数据集以及新采集的RGB-LWIR数据集。评估时以2Hz频率选取帧。
3：实验设备与材料清单：
由Kinect v2 for Windows（全高清分辨率）和FLIR A40 LWIR相机（QVGA分辨率）组成的立体相机对，使用卤素灯加热的泡沫芯棋盘格图案进行校准。软件包括用于校准的OpenCV和用于图形模型的OpenGM库。
4：实验流程与操作步骤：
以单目分割掩码初始化，随后迭代最小化能量函数。计算光流以实现时间一致性。处理在3.7GHz英特尔i7-8700K处理器上完成。
5：7GHz英特尔i7-8700K处理器上完成。 数据分析方法：
5. 数据分析方法：使用二分类指标（精确率、召回率、F1分数）评估分割效果，使用视差误差指标（误差>1像素、>2像素、>4像素的像素百分比及平均误差）评估配准效果。与St-Charles等人（2016）、GrabCut和滑动窗口等基线方法进行比较。
独家科研数据包，助您复现前沿成果，加速创新突破
获取完整内容-
FLIR A40
A40
FLIR
Used as a LWIR camera in the stereo pair for thermal imaging.
-
NVIDIA Titan X
Titan X
NVIDIA
GPU used for research support, donated by NVIDIA.
-
Kinect v2
v2
Microsoft
Used as a stereo camera for capturing RGB and depth images in the multispectral setup.
-
Intel i7-8700K
i7-8700K
Intel
Processor used for computational tasks in the experiments.
-
OpenCV
OpenCV
Software library used for image processing, calibration, and implementation of algorithms like GrabCut.
-
OpenGM
OpenGM
C++ library used for building graphical models in the energy minimization process.
-
登录查看剩余4件设备及参数对照表
查看全部
