[IEEE 2018年第24届国际模式识别会议(ICPR) - 中国北京(2018年8月20日-24日)] 2018年第24届国际模式识别会议(ICPR) - 基于几何与纹理网络的自动眼动追踪估计

摘要： 眼动估计是自动人类行为理解中的一个重要问题。本文提出了一种基于深度学习的眼动方向推断方法。该方法采用网络集成技术，同时捕捉几何与纹理信息。首先，利用从面部关键点位置提取的几何特征训练深度神经网络（DNN）；其次，针对纹理特征分别训练三个卷积神经网络（CNN），分别处理左眼区域、右眼区域及双眼组合区域的图像块；最后通过通道拼接融合四路信息，并训练全连接层预测最终眼动方向。实验在Columbia眼动和TabletGaze两个公开数据集上进行，全面评估表明所提框架具有优越性能。我们还评估了最新提出的Swish激活函数相较于修正线性单元（ReLU）在眼动估计任务中的表现。