Feb, 2024

检索、合并、预测：利用数据湖增强表格

PDF
TL;DR数据湖中的数据发现在表增强中的应用进行了深入分析，研究了检索可连接表、信息合并和使用生成表进行预测的替代方法，并通过对 YADL 和 Open Data US 的系统性探索，总结了准确检索连接候选项的重要性和简单合并方法的效率。本研究报道了现有解决方案的优势和局限性，旨在指导未来该领域的研究。
发现论文，激发创造
  • LakeBench：数据湖上的数据发现基准测试

    在数据湖之中，企业内部需要智能地进行数据发现，特别是关于找到相关的数据表。该文提出了使用不同数据源的表格来开发多个用于这些任务的基准测试，并比较了 4 个公开可用的表格模型在这些任务上的表现，结果显示这些模型在数据发现任务上有很大的改进空间。建立这样的基准测试对于社区构建适用于数据湖中数据发现的表格模型可能是有用的。

    Jul, 2023

  • 检索式变压器用于表格增强

    本文提出了一种基于自学习的检索增强型 Transformer 模型，其用于自动数据整理以减轻数据分析师的工作量，实现适用于动态数据视图的表格数据的结构化与数据补全，数据的预处理是实现分析或构建机器学习模型时最昂贵和耗时的步骤之一。

    Jun, 2023

  • DeepJoin：预训练语言模型支持的可连接表格发现

    在数据湖管理中，使用 Deepjoin 进行精确和高效的可连接表发现，它是一种基于深度学习模型的嵌入式检索解决方案，可服务于等价连接和语义连接，训练数据和数据增强技术的设计有助于其在大数据集上泛化，其精度甚至优于专家标记的语义连接的精确解，并配备 GPU 时速度可提高两个数量级。

    Dec, 2022

  • METAM: 以目标为导向的数据发现

    本文介绍了一种名为 METAM 的目标导向框架，该框架可自动引导发现与扩充数据，并通过从下游任务中查询候选数据集来选择最佳候选方法，理论保证，并在广泛的任务集合上进行了实证证明，证明了目标导向数据发现对现代数据科学应用的潜力。

    Apr, 2023

  • 跨模态结构化和非结构化数据湖的数据发现

    介绍了 CMDL 系统，它能够支持结构化和非结构化数据的发现，并在保留表格数据的结构属性的同时，有效地整合各种相似度测量和草图。

    Jun, 2023

  • 深湖：一个深度学习的数据湖

    Deep Lake 是面向深度学习应用的开放式数据湖，它在保持数据湖优势的同时，存储更丰富的复杂数据，并以张量形式快速流式传输数据到张量查询语言、浏览器可视化引擎或深度学习框架，同时支持 PyTorch、TensorFlow、JAX 等多种 MLOps 工具。

    Sep, 2022

  • 模型湖泊

    给定一组深度学习模型，找到适合的模型、理解模型、区分模型以及模型之间的差异是困难的。目前的从业者依赖手动编写的文档来理解和选择模型。然而，并非所有模型都有完整和可靠的文档。随着机器学习模型的增加，找到、区分和理解模型的问题变得更加关键。针对数据湖的研究启发，我们引入和定义了模型湖的概念。我们讨论了在大型模型管理中的基本研究挑战，并讨论了什么样的原则性数据管理技术可以应用于大型模型管理研究。

    Mar, 2024

  • TabSketchFM: 面向数据湖的基于草图的表格表示学习的数据发现

    提出了一种用于数据湖上的数据发现的神经表格模型 TabSketchFM，通过使用预训练的基于草图的方法提高了数据发现技术的有效性，并展示了在联合、连接或子集搜索中相对于现有神经模型的最先进性能。

    Jun, 2024

  • ALTER: 大表推理的增强方法

    ALTER 框架通过查询扩增器和表格扩增器利用自由形式自然语言问题和半结构化表格数据的潜在扩增潜力，在大表格场景下取得了出色的表格推理性能。

    Jul, 2024

  • 先增强后实践：通过表格扩展实现知识增强问答

    本研究提出了一种简单而有效的方法，用于在给定的表格中集成外部信息，通过构建一个包含缺失信息的增强表格，然后生成两个表格的 SQL 查询来回答问题。实验证明，我们的方法在三个表格问答基准测试上优于强基准模型。

    Jan, 2024