研究目的
利用随机森林识别神经网络各层的鲁棒特征,评估这些特征单独的分类性能,提出特征显著性评估方法,并验证关于网络特征的直觉认知。
研究成果
研究表明,神经网络的特征尺寸可缩减高达50%而精度无明显损失,这表明存在信息冗余。外层具有更强的判别能力,池化层则集中了信息。基于卷积神经网络特征训练的随机森林在某些情况下能超越CNN本身,为网络分析及潜在提升训练效率提供了工具。
研究不足
实验仅限于特定数据集(手部数据和MNIST)和网络架构。特征降维方法可能无法推广到所有类型的神经网络或任务。对于极大数据集,训练多个随机森林的计算复杂度可能较高。
1:实验设计与方法选择:
该方法采用引导正则化随机森林(GRRF)和影子特征来评估训练神经网络中的特征显著性。理论模型包括随机森林的熵最大化原理及Wilcoxon秩和检验等统计方法。
2:样本选择与数据来源:
使用两个数据集——通过飞行时间相机采集的105,000个训练样本和10,000个测试样本的手部数据集,以及MNIST手写数字数据集。特征从预训练CNN的不同层提取(如MNIST使用LeNet,手部数据使用定制网络)。
3:实验设备与材料清单:
手部数据集采用飞行时间相机;未提及具体型号或品牌。训练神经网络和随机森林所需的计算资源。
4:实验流程与操作步骤:
网络训练10,000次迭代,批量大小为64。提取训练集所有层的特征。通过调整γ参数应用GRRF选择特征子集。通过复制并随机化标签创建影子特征。训练随机森林并评估准确率与特征存活率。
5:数据分析方法:
测量分类任务的准确率。计算每层的特征存活率。统计分析包括使用Wilcoxon秩和检验比较真实特征与影子特征的p值。
独家科研数据包,助您复现前沿成果,加速创新突破
获取完整内容