May, 2024

大数据的规模有多大？

PDF
TL;DR使用机器学习模型，大数据引入了一种新的预测能力。本文评估了 “大数据” 在典型材料科学机器学习问题中的含义，涉及数据量、数据质量和真实性以及基础设施问题。通过选定的示例，研究了模型在相似数据集上的泛化能力、如何从异构数据源收集高质量数据集、模型的特征集和复杂性如何影响表达能力以及创建更大数据集并在其上训练模型所需的基础设施要求。总之，我们发现大数据在各个方面都带来了独特的挑战，这应该促使进一步研究。
big datapredictive powermachine learningmaterials sciencedata quality
发现论文，激发创造
  • 大数据分析挑战

    这篇文献讨论了大数据的显著特征及其对统计和计算方法的范式变革产生的影响，强调了高置信度集中最稀疏解的可行性，并指出大多数针对大数据的统计方法中的外生性假设无法被验证，容易导致错误的统计推断和错误的科学结论。

    Aug, 2013

  • 大数据系统应对机器学习挑战：向大数据科学服务发展

    介绍大数据科学中使用云计算作为一种实用且成本效益高的解决方案，着重分析软件堆栈的建设模块，为数据科学家提供大数据分析应用的普及服务，为该领域的最新发展和挑战提供各种见解。

    Sep, 2017

  • 在尼日利亚的高等院校中实施大数据和分析来预测学生表现

    本文通过问卷调查的方式，探究了大数据在教育机构中的应用以及采用大数据和分析技术时的制约因素。

    Jul, 2022

  • 研究提议：“高质量数据是否足够？

    本文研究如何选择和创建高质量基准数据的子集以及对于模型的有效学习是否真正需要大型数据集，并计划研究数据修剪和数据创建范式以生成高质量数据。

    Mar, 2022

  • 预测性异质性：度量与应用

    本文研究了数据异质性问题如何影响机器学习算法的预测能力和公平性，并提出了可用预测异质性的估计方法和优化算法，实验证明对于收入预测、作物产量预测和图像分类等任务，挖掘数据异质性能够提升模型的泛化能力和公平性。

    Apr, 2023

  • 规模机器学习

    本文介绍了一个自动化的机器学习平台，用于在数字广告技术环境中构建数千个预测用户行为的模型，并实现连续的优化广告活动，涉及数十亿的广告展示量和数亿的用户，以及多个不同的性能目标。

    Feb, 2014

  • 大数据与教育：在语言学习中使用大数据分析

    教育行业中使用数据挖掘工具来处理大数据正在成为一种趋势。本文提出了关于教育数据挖掘和学习分析的基本概念、最受欢迎的工具、方法和技术，并探讨了大数据在语言学习方面的应用。

    Jul, 2022

  • 精益数据科学家：克服数据瓶颈的最新进展

    介绍了如何建立大规模数据集用于机器学习，提出了处理数据瓶颈问题的分类方法，旨在提高社区对这些方法的认识并促进资源的更有效利用。

    Nov, 2022

  • 数据库中一些难以捉摸的方面对基于人工智能的发现的阻碍：以超导材料为例的案例研究

    大数据和 AI 驱动模型的准确性和质量对于建立准确的人工智能模型至关重要。然而，在根本性数据库生成中存在一些关键障碍，这些常常在文献中被低估并且得到很少的讨论。在本文中，我们特别针对超导和热电材料进行了两个代表性案例研究，讨论了三个方面，即内在有偏采样选择，可能的隐藏变量，以及不同的数据年龄。值得注意的是，据我们所知，我们提出并测试了第一个能够检测和量化内在数据偏差的策略。

    Nov, 2023

  • 机器学习与大数据的结合：无线通信视角

    本文简要介绍大数据分析和机器学习，并探讨它们在下一代无线网络中的潜在应用。提出了一个统一的大数据辅助的机器学习框架，用于预测移动用户的要求，并利用它来改善社交网络感知无线网络的性能，为了描述该框架的效率，提供了一对智能实际应用作为案例研究，以及为激励未来的研究提供开放式研究机会。

    Jan, 2019