apache spark | BriefGPT - AI 论文速递

关键词apache spark

搜索结果 - 14

基于本体论、大数据和 LLMs 的森林火灾管理决策支持系统
利用 Apache Spark 对早期森林火灾进行检测、通过气象和地理数据提高火灾风险预测的论文进行了讨论，使用了 Semantic Sensor Networks、Large Language Models 和 Spark 框架改进了决策
PDF2 months ago
Apache Spark 下的分布式医疗数据记录链接
利用 Apache Spark 机器学习库，开发了一种新的分布式数据匹配模型，通过使用 SVM 和回归算法解决数据不平衡问题，实现了在医疗数据上的良好性能。
PDF4 months ago
大数据性能优化自主架构
KERMIT 是一种自主架构，可以自动调整 Apache Spark 和 Hadoop，并能识别和分类复杂的多用户工作负载，以达到比人工管理员的启发式调优快 30％，并且比通过对调优参数空间进行透彻搜索获得的最快调优结果快高达 92％。
PDFa year ago
基于层次 LSTM 和注意力机制的网络级短时旅行时间大数据分析
本文通过使用 Apache Spark 和 Apache MXNet 等大数据分析引擎，利用 Caltrans PeMS 系统的大规模旅行时间数据集设计了一个 Hierarchical LSTM with Attention (HierLS
PDF2 years ago
KDDApache Spark 中的大规模网络嵌入
本文提出了一种使用 Apache Spark 的高效有效的分布式算法，用于处理大型网络嵌入问题，并在朋友推荐和物品推荐的场景中展示了该算法的高效性和性能。
PDF3 years ago
大规模生物医学命名实体识别
通过在 Apache Spark 之上重新实现 Bi-LSTM-CNN-Char 深度学习架构，我们提出了一个单可训练的命名实体识别（NER）模型，该模型在七个公共生物医学基准测试中获得了新的最优结果，而不使用像 BERT 这样的重型上
PDF4 years ago
BigDL：针对大数据的分布式深度学习框架
本研究介绍了 BigDL，一种基于 Apache Spark 的分布式深度学习框架，它支持在生产数据平台上构建深度学习应用程序、直接处理生产数据，并作为端到端数据分析流水线的一部分进行部署和管理，实现了在 Spark 的功能计算模型上的分布
PDF6 years ago
单连接聚类在 l_p 距离下的大规模并行算法和难度
介绍了用 Apache Spark 实现的高效的大规模并行算法来计算单链接聚类问题，该算法在 Hamming 距离，L1，L2 和 L∞ 距离下均能实现单轮 MPC，和（除了 Hamming 距离的精确算法外）都能实现（1+ε）- 近似，同
PDF7 years ago
通过内存感知任务协同定位的方式提高 Spark 应用吞吐量：一种专家混合方法
本文通过离线学习常见应用的专用内存模型并结合 Apache Spark 的 CPU 和内存运行时数据，对数据分析应用任务进行批处理，并通过对任务进行特定的 co-location，统计考虑了任务运行所需的内存和 CPU 资源的情况下，合理放
PDF7 years ago
NIPS矩阵乘积的单遍 PCA
本文提出了一种新的算法，通过仅对两个矩阵进行一次遍历即可计算出 $A^TB$ 的低秩逼近，该算法保留有关 A、B 的附加信息（例如行和列范数等）并利用这些附加信息从草图中获得改进的逼近。我们的主要分析结果将该方法的谱范数保证与现有的两个遍历
PDF8 years ago
基于三个案例研究的 Spark 和 C+MPI 在规模化矩阵分解上的科学数据分析比较
探讨在 HPC 平台上使用 Apache Spark 进行线性代数与传统的 C 和 MPI 实现之间的权衡。我们考察了三种常用的矩阵分解方法：NMF、PCA 和 CX，并将它们应用于 TB 级的问题，包括粒子物理学、气候模拟和生物成像。我们
PDF8 years ago
DeepSpark：一个基于 Spark 的商用集群分布式深度学习框架
本文介绍了 DeepSpark，这是一个利用 Apache Spark 在普通集群上进行分布式和并行的深度学习的框架，它通过异步的弹性平均随机梯度下降算法迭代地聚合训练结果，以解决现在深度神经网络训练和大规模数据处理方面面临的挑战。
PDF8 years ago
利用深度学习和 Apache Spark 进行移动大数据分析
本文介绍了一种基于 Apache Spark 的分布式深度学习框架，可在移动大数据分析中实现快速学习和活动识别。
PDF8 years ago
Apache Spark 中的机器学习
本文介绍了 Apache Spark 的开源分布式机器学习库 MLlib，它支持迭代的机器学习任务和端到端机器学习流程。
PDF9 years ago