研究目的
基于颜色感知构建图像视觉质量评估的计算模型,具体通过条件随机场框架对色彩和谐度进行建模,并采用门控卷积神经网络来处理颜色间的空间关系。
研究成果
基于条件随机场框架提出的门控卷积神经网络颜色和谐模型能有效捕捉色彩间的空间关系,提升美学质量评估效果。引入语义标签可进一步增强判别能力,在性能上优于现有方法。未来工作将探索不同损失函数和神经网络架构。
研究不足
该研究仅限于AVA数据集和特定图像类别,可能无法推广到所有类型的图像。补丁大小固定为16x16,这可能并非适用于所有场景的最佳选择。该方法依赖于语义标签,而这些标签可能并不总是可用或准确。
1:实验设计与方法选择:
本研究采用条件随机?。–RF)框架对色彩和谐进行建模,通过门控卷积神经网络(CNN)计算关联势与交互势。将图像分割为小块区域,训练神经网络预测美学质量评分。
2:样本选择与数据来源:
使用来自dpchallenge.com的约25万张照片组成的美学视觉分析(AVA)数据集,包含动物、建筑、城市景观、饮食、花卉、风景、静物和肖像8个子类别。选取14,910张用于训练,14,892张用于测试。
3:实验设备与材料清单:
未提及具体设备或材料,重点为计算方法和数据集。
4:实验流程与操作步骤:
基于色彩离散度测量将图像划分为16×16块区域。采用批量大小32、学习率0.001、衰减率1e-6的随机梯度下降法训练神经网络(ResNet和门控CNN),分两阶段进行:首先仅训练中心块,随后加入邻域块。
5:学习率衰减率1e-6的随机梯度下降法训练神经网络(ResNet和门控CNN),分两阶段进行:
5. 数据分析方法:通过美学质量预测的曲线下面积(AUC)评估性能,设定阈值区分高低质量图像。
独家科研数据包,助您复现前沿成果,加速创新突破
获取完整内容