利用深度学习和 Apache Spark 进行移动大数据分析
本研究介绍了 BigDL,一种基于 Apache Spark 的分布式深度学习框架,它支持在生产数据平台上构建深度学习应用程序、直接处理生产数据,并作为端到端数据分析流水线的一部分进行部署和管理,实现了在 Spark 的功能计算模型上的分布式数据并行训练。此外,我们还分享了 BigDL 的用户如何应对挑战,如何简化端到端数据分析和深度学习流水线的搭建和部署。
Apr, 2018
本文介绍了在 IoT 领域中使用深度学习技术进行分析和学习的综述,包括 IoT 数据的特征和处理方法,以及深度学习算法及其在 IoT 领域中的应用和挑战,同时讨论了智能 IoT 设备背景下应用深度学习的实现方法,以及在雾计算和云中心的运用。
Dec, 2017
本文介绍了一种分布式、可伸缩的平台架构,可用于有效的实时大数据采集和分析,其中结合智能家电的实时预测维护进行了案例研究,结果表明该平台具有成本效益和本地化优势。
Oct, 2022
本文介绍了 DeepSpark,这是一个利用 Apache Spark 在普通集群上进行分布式和并行的深度学习的框架,它通过异步的弹性平均随机梯度下降算法迭代地聚合训练结果,以解决现在深度神经网络训练和大规模数据处理方面面临的挑战。
Feb, 2016
SparkNet 是一个在 Spark 上训练深度网络的框架,采用简单的并行随机梯度下降方法,具有良好的可扩展性和高延迟通信容忍度,易于部署和使用,可与现有 Caffe 模型兼容,并针对 ImageNet 数据集进行了性能基准测试。
Nov, 2015
本文提出了一种新的协作智能友好型架构,通过将移动设备上计算的中间特征卸载到云端以降低需要发送到云端的数据量,使得在 ResNet-50 模型上,相比现有的云端计算方法,端到端延迟和移动能耗分别平均提高了 53 倍和 68 倍,而精度损失不到 2%。
Feb, 2019
本文评估了处理物联网数据挑战的不同机器学习方法,以智能城市为主要案例。该研究的关键贡献是提供一个机器学习算法分类法,阐述如何应用不同技术从数据中提取高层次信息。此外,还讨论了机器学习在物联网数据分析中的潜力和挑战,并介绍了应用支持向量机(SVM)在奥尔胡斯智能城市交通数据上的案例。
Feb, 2018
本研究提出了一种名为 adaComp 的新算法,结合了梯度选择和学习率调节,在分布式深度学习计算中实现了 worker 更新模型数据压缩,通过在模拟平台上嵌入 TensorFlow 到 Linux 容器中进行实验,并报告相对于标准异步随机梯度下降,在保持模型精度的同时,将工人发送到服务器的总数据量减少了两个数量级(例如,在 MNIST 数据集上的卷积网络中,减少了 191 倍)
Feb, 2017
本研究提出了一种基于微服务的物联网数据分析系统的方法,通过将实体组织成细粒度、松散连接和可重用的集合,满足隐私和性能要求。我们的方法依赖于联邦学习,可以提高疾病诊断的准确性同时保护数据隐私。此外,我们采用迁移学习来获得更高效的模型。通过使用超过 5800 个公开可用数据集中的肺部 X 光图像进行肺炎检测的实验,我们评估了我们方法的有效性。实验证明,相较于其他先进技术,我们的方法在肺炎识别上表现更好,展示了我们方法优秀的潜在检测性能。
Aug, 2023