- 标题
- 摘要
- 关键词
- 实验方案
- 产品
-
[2019年IEEE光子学与电磁学研究秋季研讨会(PIERS-Fall)- 中国厦门(2019.12.17-2019.12.20)] 2019光子学与电磁学研究秋季研讨会(PIERS-Fall)- 适用于S波段遥测应用的高效GaN HEMT F类功率放大器
摘要: 在当今高度互联的网络社会中,对大数据处理框架的需求持续增长。处理大数据的通用模式是并行与分布式计算。本文记录了分布式计算框架领域(特别是基于体同步并行处理的Apache软件基金会顶级项目Apache Hama)取得的重要进展。通过对比研究和实证评估,揭示了Hama在大数据应用中的潜力与效能。我们特别采用PageRank算法对Hama图计算包与Apache Giraph进行了基准测试评估,结果表明Hama在可扩展性和计算速度方面优于Giraph。然而尽管取得重大进展,诸多挑战仍制约着Hama的大规模应用潜力。本文同时阐述了这些挑战,分析了现有解决方案,并指出了研究机遇。
关键词: 体步同步并行、Giraph、MapReduce、大数据、Hadoop、BSP、分布式计算、Apache Hama、Spark
更新于2025-09-23 15:19:57
-
[2019年IEEE高功率二极管激光器与系统会议(HPD)- 英国考文垂(2019.10.9-2019.10.10)] 2019年IEEE高功率二极管激光器与系统会议(HPD)- 双非对称结构1.5微米高功率激光二极管
摘要: 矩阵求逆是许多计算应用中求解线性方程组的基础操作,尤其对各类新兴的大数据应用至关重要。然而,对于社交网络和推荐系统等大多数Web规模系统中常见的高阶(数千或数百万级)大规模矩阵求逆而言,这仍是一项极具挑战性的任务。本文提出了一种基于上下三角分解的分块递归算法来实现大规模矩阵求逆。我们在Spark并行计算平台上实现了该算法,通过优化数据结构、降低空间复杂度以及高效的矩阵乘法运算,设计了精良的实施方案。实验评估结果表明,该算法能有效在由普通服务器组成的集群上实现大规模矩阵求逆,并且具有处理更庞大矩阵的可扩展性。所提出的算法及实施方案将成为构建面向大数据处理与应用的Spark高性能线性代数库的坚实基础。
关键词: 线性代数、并行算法、分布式计算、矩阵求逆、LU分解、Spark
更新于2025-09-19 17:13:59
-
[IEEE 2019年光子学与电磁学研究春季研讨会(PIERS-Spring) - 意大利罗马(2019.6.17-2019.6.20)] 2019年光子学与电磁学研究春季研讨会(PIERS-Spring) - 激光辅助电子-正电子散射湮灭通道的共振
摘要: 在实际应用中,时间序列集合中的数据缺失现象频繁发生,这已成为精确数据分析的主要威胁。然而,现有大多数方法要么难以实施,要么在预测大规模协同演化时间序列的缺失值时效率低下。此外,为适应时间特性,还需妥善处理时间序列的演化过程。当前许多领域产生的数据量也远超以往。本文通过采用时间动态矩阵分解技术,直面协同演化时间序列中缺失数据预测的挑战。首先,我们的方法经过优化设计,能充分利用各时间序列的内部模式与多源时间序列信息来构建初始模型,在此基础上引入混合正则化项约束矩阵分解的目标函数。随后提出时间动态矩阵分解方法,有效更新已训练的初始模型。在动态矩阵分解过程中,同时采用批量更新与微调策略以构建高效模型。大量真实数据集与合成数据集的实验表明,所提方法能显著提升缺失数据预测性能——即使缺失率达到90%,仍保持较低预测误差。动态性能测试显示该方法兼具良好效果与效率。此外,我们还论证了如何利用Apache Spark的高处理能力来实现大规模协同演化时间序列的缺失数据预测。
关键词: 时间序列、缺失数据预测、Apache Spark、矩阵分解
更新于2025-09-19 17:13:59
-
[2019年欧洲激光与电光会议暨欧洲量子电子学会议(CLEO/Europe-EQEC) - 德国慕尼黑(2019.6.23-2019.6.27)] 2019年欧洲激光与电光会议暨欧洲量子电子学会议(CLEO/Europe-EQEC) - 实现光谱特性不同的固态发射体间最大纠缠态生成
摘要: 在实际应用中,时间序列集合中的数据缺失现象频繁发生,这已成为精确数据分析的主要威胁。然而,现有大多数方法要么不可行,要么在预测大规模协同演化时间序列的缺失值时效率低下。此外,还需妥善处理时间序列的演化特性以适应其时间特征。更重要的是,许多领域产生的数据量正以前所未有的规模增长。本文通过采用时间动态矩阵分解技术,直面协同演化时间序列中缺失数据预测的挑战。首先,我们的方法经过优化设计,能充分利用各时间序列的内部模式与多源时间序列信息来构建初始模型。基于这一思路,我们引入混合正则化项来约束矩阵分解的目标函数。随后提出时间动态矩阵分解方法,有效更新已训练的初始模型。在动态矩阵分解过程中,同时采用批量更新和微调策略以构建高效实用的模型。大量真实数据集与合成数据集的实验表明,所提方法能显著提升缺失数据预测性能——即使缺失率达到90%时,仍保持较低的预测误差。动态性能测试显示该方法兼具良好效果与效率。此外,我们还论证了如何利用Apache Spark的高处理能力来实现大规模协同演化时间序列的缺失数据预测。
关键词: 缺失数据预测、时间序列、Apache Spark、矩阵分解
更新于2025-09-19 17:13:59
-
[IEEE 2019年第21届欧洲电力电子与应用会议(EPE '19 ECCE Europe) - 意大利热那亚(2019.9.3-2019.9.5)] 2019年第21届欧洲电力电子与应用会议(EPE '19 ECCE Europe) - 采用硅器件与氮化镓器件的平面反向耦合倍流整流LLC变换器分析
摘要: 矩阵求逆是许多计算应用中求解线性方程组的基础操作,尤其对各类新兴的大数据应用至关重要。然而,对于社交网络和推荐系统等大多数Web规模系统中常见的高阶(数千或数百万级)大规模矩阵求逆而言,这仍是一项极具挑战性的任务。本文提出了一种基于上下三角分解的分块递归算法来实现大规模矩阵求逆。我们在Spark并行计算平台上实现了该算法的优化方案,包括精心设计的数据结构、空间复杂度降低以及高效的矩阵乘法运算。实验评估结果表明,该算法能有效在由普通服务器组成的集群上实现大规模矩阵求逆,并且对更大规模矩阵的求逆具有可扩展性。该算法及其实现将成为构建Spark平台上高性能线性代数库以支持大数据处理与应用的重要基础。
关键词: 线性代数、并行算法、分布式计算、矩阵求逆、LU分解、Spark
更新于2025-09-19 17:13:59
-
[2019年IEEE第46届光伏专家会议(PVSC) - 美国伊利诺伊州芝加哥(2019.6.16-2019.6.21)] 2019年IEEE第46届光伏专家会议(PVSC) - 表后光伏+储能现场老化测试平台
摘要: 在实际应用中,时间序列集合中的数据缺失现象频繁发生,已成为精准数据分析的主要威胁。然而现有方法大多难以有效预测大规模协同演化时间序列的缺失值,且需妥善处理时间序列的动态演化特性以适应时序特征。此外,各领域产生的数据量正呈现前所未有的增长态势。本文采用时间动态矩阵分解技术应对协同演化时间序列的数据缺失预测挑战:首先通过优化设计的方法充分挖掘单条时间序列内部模式与多源序列间信息构建初始模型,在此基础上施加混合正则化项约束矩阵分解目标函数;进而提出时间动态矩阵分解算法对预训练模型进行高效更新,过程中采用批量更新与微调策略构建高效模型。大量真实数据集与合成数据集的实验表明,该方法能显著提升缺失数据预测性能——即使缺失率达到90%时仍保持较低预测误差。动态性能测试证实其兼具良好效果与效率。此外,我们还展示了如何利用Apache Spark的高性能计算能力实现大规模协同演化时间序列的缺失数据预测。
关键词: 缺失数据预测、时间序列、Apache Spark、矩阵分解
更新于2025-09-19 17:13:59
-
[2019年IEEE国际电子器件会议(IEDM) - 美国加州旧金山(2019.12.7-2019.12.11)] 2019年IEEE国际电子器件会议(IEDM) - 首次展示用于中红外波段(超过4微米)的波导集成黑磷电光调制器
摘要: 矩阵求逆是许多计算应用中求解线性方程组的基础操作,尤其对各类新兴的大数据应用至关重要。然而,对于社交网络和推荐系统等大多数Web规模系统中常见的高阶(数千或数百万级)大规模矩阵求逆而言,这仍是一项极具挑战性的任务。本文提出了一种基于上下三角分解的分块递归算法来实现大规模矩阵求逆。我们在Spark并行计算平台上实现了该算法,通过优化数据结构、降低空间复杂度以及高效的矩阵乘法运算进行了精心设计。实验评估结果表明,该算法能有效在由普通服务器组成的集群上实现大规模矩阵求逆,并且具有处理更庞大矩阵的可扩展性。所提出的算法及实现将成为构建面向大数据处理与应用的Spark高性能线性代数库的坚实基础。
关键词: 线性代数、并行算法、分布式计算、矩阵求逆、LU分解、Spark
更新于2025-09-16 10:30:52
-
[2019年IEEE亚太电力与能源工程会议(APPEEC) - 中国澳门(2019.12.1-2019.12.4)] 2019 IEEE PES亚太电力与能源工程会议(APPEEC) - 一种平抑光伏系统输出波动的自适应斜率控制方法
摘要: 在实际应用中,时间序列集合中的数据缺失现象频繁发生,这已成为精准数据分析的主要威胁。然而现有方法大多要么难以实施,要么对大规模协同演化时间序列的缺失值预测效率低下。此外,还需妥善处理时间序列的演化特性以适应其时间特征。更重要的是,许多领域产生的数据量正以前所未有的规模增长。本文通过采用时间动态矩阵分解技术,直面协同演化时间序列中缺失数据预测的挑战。首先,我们的方法经过优化设计,能充分利用各时间序列的内部模式与多源时间序列信息来构建初始模型,在此基础上引入混合正则化项约束矩阵分解的目标函数。随后提出时间动态矩阵分解方法,有效更新已训练的初始模型。该动态矩阵分解过程同时采用批量更新与微调策略,构建出高效实用的模型?;谡媸凳菁秃铣墒菁拇罅渴笛楸砻?,所提方法能显著提升缺失数据预测性能——即使缺失率达到90%时仍保持较低预测误差。动态性能测试显示该方法兼具良好效果与效率。此外,我们还论证了如何利用Apache Spark的高处理能力来实现大规模协同演化时间序列的缺失数据预测。
关键词: 时间序列、缺失数据预测、Apache Spark、矩阵分解
更新于2025-09-16 10:30:52