研究目的
提出一种基于单阶段神经网络并结合微型飞行器传感器数据融合的方法，在未复原的鱼眼图像上实现微型飞行器的鱼眼目标检测与定位，以节省资源与时间。
研究成果
提出的鱼眼目标检测与定位方法经实验验证有效且具备实时性。该检测器在优化速度的同时实现了高精度，定位则得益于数据融合，但随距离增加和姿态变化精度会有所下降。未来改进应聚焦于数据集扩充与边缘案例处理。
研究不足
由于场地限制，该方法尚未对±60度以上区域的物体进行测试。未来工作应致力于构建更大规模的数据集并更新边缘物体的算法。
1：实验设计与方法选择：
该方法基于RetinaNet和MobileNet设计单阶段神经网络用于鱼眼图像目标检测，采用深度可分离卷积降低计算复杂度。通过相机模型实现定位，并融合微型飞行器（MAV）传感器数据（高度、姿态）。
2：样本选择与数据来源：
构建包含1468张鱼眼图像（960x960分辨率）的自定义数据集，标注为两类（iRobot与障碍物），划分为训练集（1000张）、验证集（234张）和测试集（234张）。
3：实验设备与材料清单：
微型飞行器平台（DJI M100）、鱼眼相机（SY091HD）、机载计算机（NVIDIA TX2）、超声波传感器、惯性测量单元（IMU），训练阶段使用NVIDIA TitanX GPU。
4：0）、鱼眼相机（SY091HD）、机载计算机（NVIDIA TX2）、超声波传感器、惯性测量单元（IMU），训练阶段使用NVIDIA TitanX GPU。 实验流程与操作步骤：
4. 实验流程与操作步骤：通过检测器处理图像输出边界框；定位结合鱼眼模型与传感器数据，采用高斯-牛顿迭代法。训练过程包括在Pascal VOC上预训练、数据增强（翻转、旋转）微调及损失最小化。
5：数据分析方法：
采用mAP@0.5 IOU衡量准确率，记录运行时间，通过线性拟合分析定位误差并与OptiTrack系统的真实值对比。
独家科研数据包，助您复现前沿成果，加速创新突破
获取完整内容-
onboard computer
TX2
NVIDIA
Processes the object detection and localization algorithms in real-time onboard the MAV.
-
GPU
Titan X
NVIDIA
Used for training the neural network detector.
-
fisheye camera
SY091HD
Captures fisheye images with a wide field of view for object detection and localization.
-
MAV platform
M100
DJI
Aircraft platform used for mounting the fisheye camera and conducting experiments.
-
ultrasonic sensor
Provides altitude data for the MAV, used in the localization process.
-
IMU
Provides attitude data (pitch, roll, etc.) for the MAV, used in the localization process.
-
motion capture system
OptiTrack
Provides ground truth position data for validation in localization experiments.
-
登录查看剩余5件设备及参数对照表
查看全部
