Jul, 2023

LakeBench：数据湖上的数据发现基准测试

PDF
TL;DR在数据湖之中，企业内部需要智能地进行数据发现，特别是关于找到相关的数据表。该文提出了使用不同数据源的表格来开发多个用于这些任务的基准测试，并比较了 4 个公开可用的表格模型在这些任务上的表现，结果显示这些模型在数据发现任务上有很大的改进空间。建立这样的基准测试对于社区构建适用于数据湖中数据发现的表格模型可能是有用的。
data lakesdata discoveryrelated tablesbenchmarkstabular models
发现论文，激发创造
  • 检索、合并、预测：利用数据湖增强表格

    数据湖中的数据发现在表增强中的应用进行了深入分析，研究了检索可连接表、信息合并和使用生成表进行预测的替代方法，并通过对 YADL 和 Open Data US 的系统性探索，总结了准确检索连接候选项的重要性和简单合并方法的效率。本研究报道了现有解决方案的优势和局限性，旨在指导未来该领域的研究。

    Feb, 2024

  • TabReD：一个野外表格机器学习基准

    本文研究了标准机器学习中现成的表格式基准数据集存在的问题，并引入了 TabReD 数据集以填补学术基准数据集的不足之处，以此评估不同 ML 模型在时间演化的数据环境中的表现。结果表明，基于时间的数据划分与学术基准数据集中的随机划分会导致不同的方法排名，MLP 类的架构和 GBDT 模型在 TabReD 数据集上展现出最佳结果，而更复杂的深度学习模型还需进一步证明其有效性。

    Jun, 2024

  • 生成用于表格合并搜索的基准测试

    使用生成模型创建结构化数据基准，其中包含可联合和不可联合但相关的表格对。评估了最近的表联合搜索方法，并提出了基于大型语言模型的新的表搜索方法，发现新的基准相比手动创建的基准更具挑战性，对所有方法的性能都有降低。

    Aug, 2023

  • RDBench: 关系数据库的机器学习基准测试

    通过引入 ML Benchmark For Relational Databases (RDBench) 标准化基准测试，旨在促进多表关系数据库上可复现的机器学习研究，RDBench 为不同的机器学习领域提供多样的关系数据库数据集，使得从 XGBoost 到图神经网络等不同领域的 ML 方法可以进行有意义的比较和评估。

    Oct, 2023

  • 跨模态结构化和非结构化数据湖的数据发现

    介绍了 CMDL 系统，它能够支持结构化和非结构化数据的发现，并在保留表格数据的结构属性的同时，有效地整合各种相似度测量和草图。

    Jun, 2023

  • TableBank: 一份用于表格检测和识别的基准数据集

    TableBank 使用 Word 和 Latex 文档的弱监督，构建了一个新的基于图像的表格检测和识别数据集。该数据集包含 417K 个高质量标记的表格，并利用深度神经网络构建了多个强基线模型，旨在为表格检测和识别任务提供更多的深度学习方法。

    Mar, 2019

  • 机器学习研究中数据集的生命周期：减少、重复利用和循环利用

    本文研究各机器学习子社区在 2015-2020 年期间数据集使用模式的差异，并发现技术社区对越来越少的数据集集中使用，大量采用来自其他任务的数据集，并集中于由少数精英机构研究者推出的数据集，从而对科学评估、人工智能伦理和公平性、以及领域内的平等 / 可接近性产生影响。

    Dec, 2021

  • PMLB: 机器学习评估和比较的大型基准测试套件

    本文介绍了一个可访问、策划和开发的公共基准资源，用于促进不同机器学习方法的优缺点的识别。我们比较了这一资源中当前一组基准数据集的元特征，以表征可用数据的多样性。最后，我们应用了一些已经建立的机器学习方法到整个基准套件，并分析数据集和算法在性能方面是如何聚类的。该工作是了解流行基准套件的限制并开发将现有的基准标准与未来更多样化和有效标准相连接的资源的重要第一步。

    Mar, 2017

  • 模型湖泊

    给定一组深度学习模型，找到适合的模型、理解模型、区分模型以及模型之间的差异是困难的。目前的从业者依赖手动编写的文档来理解和选择模型。然而，并非所有模型都有完整和可靠的文档。随着机器学习模型的增加，找到、区分和理解模型的问题变得更加关键。针对数据湖的研究启发，我们引入和定义了模型湖的概念。我们讨论了在大型模型管理中的基本研究挑战，并讨论了什么样的原则性数据管理技术可以应用于大型模型管理研究。

    Mar, 2024

  • 深度学习在表格数据上的研究

    通过一个全面的基准测试，本文研究了深度表格方法和基于树的方法在各种任务类型、大小分布和领域中的性能排名以及影响深度表格方法成功的关键因素，并提取了对预测准确性起决定性作用的元特征。这些研究将进一步促进表格数据的研究。

    Jul, 2024