Jun, 2024

TabularFM：一个用于表格基础模型的开放框架

PDF
TL;DRTabularFM 是一个针对结构化数据的框架，通过预训练的方式使用 GANs、VAEs 和 Transformers 等神经结构提高表格数据模型的可迁移性，并提供百万个经过清洗的表格数据集、预训练模型和排行榜，以增强表格数据模型的有效性和可用性。
foundational modelstabular datapretrainingtransferabilitytabularfm
发现论文，激发创造
  • 面向表格数据学习的基础模型研究

    本文提出了 Tabular Foundation Models (TabFMs)，通过在广泛的表格数据集上使用预训练的大型语言模型 (LLM) 并进行微调，实现了对表格数据具有深刻理解和普适能力的目标。TabFMs 在指导性任务（如零样本和上下文推理）方面具有显著优势，并且在某些情况下甚至超越了著名但神秘的闭源 LLMs，如 GPT-4。此外，当仅有有限的数据进行微调时，我们的模型表现出了出色的效率和竞争性表现。最后，我们也探讨了 TabFM 的局限性和潜在机会，旨在激发和促进未来开发更强大的 TabFMs 的研究。

    Oct, 2023

  • 关于为何应将表格基础模型作为研究优先事项

    近期的文本和图像基础模型受到了极大的关注，本文旨在将机器学习研究社区的重点稍稍转向不同的模态：表格数据。表格数据是许多领域的主要模态，但在规模和能力方面明显落后，我们认为现在是开发表格基础模型（或我们所称的大型表格模型）的时候了。大型表格模型将可能从多个角度革新科学和机器学习对表格数据的使用：不仅仅是分析单个数据集，而是联系相关数据集进行分析。潜在的影响是广泛的：从少样本表格模型到自动化数据科学；从超分布合成数据到促进多学科科学发现。我们希望激发对我们所研究模态的思考，并使一些研究人员开始研究大型表格模型。

    May, 2024

  • XTab：跨表预训练技术用于表格 Transformer 模型

    本研究提出了一个名为 XTab 的跨表格预训练框架，使用自监督学习算法来提高多种数据集上的表格变换器的泛化性、学习速度和性能，并通过联邦学习解决了跨表不一致的挑战。

    May, 2023

  • 基于联邦学习的基础模型协同优化：一项综述

    基于联邦学习与基础模型的潜力和挑战以及核心技术、未来方向和应用的综述。

    Jun, 2024

  • TabSketchFM: 面向数据湖的基于草图的表格表示学习的数据发现

    提出了一种用于数据湖上的数据发现的神经表格模型 TabSketchFM，通过使用预训练的基于草图的方法提高了数据发现技术的有效性，并展示了在联合、连接或子集搜索中相对于现有神经模型的最先进性能。

    Jun, 2024

  • 基础模型能否操纵您的数据？

    本文旨在探讨基础模型（FMs）在数据清洗和集成等传统数据任务中的表现，研究发现大型 FM 模型可以在这些任务中取得 SoTA 表现，并针对这一发现提出了相关挑战和机遇。

    May, 2022

  • 通过联合迁移学习使基础模型根植于实际：一个通用框架

    使用联邦迁移学习来接地基础模型是当前学术界和工业界重要的研究方向，该研究论文介绍了一个联邦迁移学习框架，对最新的研究工作进行了详细分类和综述，提供了高效和隐私保护技术，并探讨了联邦迁移学习未来的机会和研究方向。

    Nov, 2023

  • 使用预训练语言模型建模表格数据

    通过引入预训练语言模型（PTM）和三个处理阶段（MT、MF、CF），提出了一种新的名为 PTab 的框架，以将预训练模型用于建模表格数据，并取得比现有技术更好的分类效果。

    Sep, 2022

  • LaTable: 大型表格模型的探索

    构建更好的零样本和少样本生成能力的生成式表格基础模型 LaTable 在有限样本的条件下，在实例内分布生成方面胜过基线，并在生成超出分布的数据集时表现更好。

    Jun, 2024

  • CityFM：解决城市挑战的城市基础模型

    通过开放地理空间数据和自我监督学习，CityFM 构建了一个多模态的预训练基础模型，用于处理地理空间数据和回答城市相关问题，并在道路、建筑和区域级别的任务上获得了优秀的性能。

    Oct, 2023