研究目的
提出一种基于深度卷积神经网络(CNN)的解决方案,用于光场人脸识别,充分利用微透镜光场图像中更丰富的信息,包括首次在融合方案中同时利用视差图、二维RGB图像和深度图。
研究成果
提出的融合深度人脸表征方法结合了基于光场的人脸识别中使用的二维RGB中心视图以及从多视角子孔径阵列提取的视差和深度图,在识别性能上优于现有最先进技术。未来工作将考虑利用重聚焦图像来提升散焦区域的质量,以改进多人脸识别任务的效果。
研究不足
该研究仅限于IST-EURECOM LFFD数据集,未探索重聚焦图像在提升不同距离多张人脸离焦区域质量方面的潜力。
1:实验设计与方法选择:
本方案采用二维RGB中心子孔径视图,以及从透镜阵列光场关联的完整子孔径图像集中提取的视差图和深度图。纹理特征通过VGG-Face深度描述符提取,视差图和深度图则分别使用独立微调的模型处理。提取的特征经拼接后输入SVM分类器。
2:样本选择与数据来源:
使用IST-EURECOM光场人脸数据库(LFFD),包含情绪、姿态、光照及遮挡等不同面部变化。
3:实验设备与材料清单:
由Lytro ILLUM相机采集的光场图像,用于创建多视角子孔径阵列的Light Field Toolbox v0.4软件,以及SVM分类用的LIBSVM库。
4:4软件,以及SVM分类用的LIBSVM库。
实验流程与操作步骤:
4. 实验流程与操作步骤:预处理生成多视角子孔径阵列,视差图与深度图提取,VGG-Face特征提取,特征级融合,及SVM分类。
5:数据分析方法:
基于各类识别任务的首位识别率(rank-1)评估性能。
独家科研数据包,助您复现前沿成果,加速创新突破
获取完整内容