建立语言模型和制表理解之间的桥梁

Feb, 2023

建立语言模型和制表理解之间的桥梁

Bridge the Gap between Language models and Tabular Understanding

Nuo Chen, Linjun Shou, Ming Gong, Jian Pei, Chenyu You...

TL;DR该论文提出了 UTP 这一基于对比学习及多模态输入的数据驱动表格文本预训练方法，可用于单模态和交叉模态输入任务，有效弥合了预训练和微调阶段的输入差距并提高了表和文本的对齐精度。

Abstract

Table pretrain-then-finetune paradigm has been proposed and employed at a rapid pace after the success of pre-training in the natural language domain. Despite the promising findings in tabular pre-trained language models (TPLMs), there is an input gap between pre-training and fine-tuning phases. For instance, TPLMs jointly pre-trained with table and text inp

table pre-training multi-modal inputs contrastive learning table-text joint input utp

发现论文，激发创造

对多样化表格数据任务中统一序列到序列 LLM 预训练能力的测试

通过使用大型语言模型，我们尝试创建一个共享的建模方法，在预训练阶段使用编码器 - 解码器风格的大型语言模型，以适用于各种表格任务，并观察到自我监督目标的预训练可以显著提升模型在这些任务上的性能.

Oct, 2023

使用预训练语言模型建模表格数据

通过引入预训练语言模型（PTM）和三个处理阶段（MT、MF、CF），提出了一种新的名为 PTab 的框架，以将预训练模型用于建模表格数据，并取得比现有技术更好的分类效果。

Sep, 2022

基于表格的预训练：模型架构、预训练目标和下游任务的调查

本文综述了表格预训练的不同模型设计、预训练目标和下游任务，分享了现有挑战和未来机遇的思考和愿景。

Jan, 2022

CT-BERT：通过跨表格预训练学习更好的表格表示

该研究论文探讨了针对表格数据的交叉表预训练的关键研究挑战，并提出了一种名为 CT-BERT 的新型框架，同时引入了对比学习和表格建模的目标，通过广泛的实证结果证明 CT-BERT 在监督和自监督设置下显著优于之前的方法。

Jul, 2023

TaBERT: 文本和表格数据联合理解的预训练

该论文提出了一种在语言模型中加入（半）结构化表格信息的方法，并在语义解析任务上取得了新的最佳结果。

May, 2020

UL2: 统一语言学习范式

提出一个统一框架的预训练模型，通过 Mixture-of-Denoisers 目标函数实现不同预训练目标的整合，将不同的预训练范例结合在一起，对于多个不同领域的数据集都具有普适性，并在规模为 20B 参数下的 50 个 NLP 任务上取得了最先进的表现。

May, 2022

UniTabE：针对异构表格数据的统一表格编码器的预训练

本研究旨在将预训练模型的能力扩展到传统上被忽视但本质上具有挑战性的表格数据领域，并介绍了一种名为 UniTabE 的先进方法，能够以一致的方式处理表格数据，通过预训练和微调来提高语义表达效果。

Jul, 2023

ALT: 语言和 CTR 模型之间的细粒度对齐性，用于点击率预测

本文提出了一种新颖的基于 Fine-grained Feature-level Alignment 的语言模型和点击率（CTR）预测模型，通过协同建模和语义知识提取，实现了文本模态和表格模态之间的特征交互和对齐，取得了比现有方法更好的实验结果，并适用于多种语言和 CTR 模型。

Oct, 2023

UC2: 通用跨语言跨模态视觉语言预训练

UC2 是第一个基于机器翻译增强的框架，用于跨语言跨模态表示学习。我们扩充了现有的只有英语的数据集，通过机器翻译引入了其他语言的图像标题，然后将标准的 Masked Language Modeling 和 Image-Text Matching 训练目标扩展到多语言环境，通过共享视觉上下文（即使用图像作为枢纽）来捕获不同语言之间的对齐。最终我们提出了两个新的预训练任务，Masked Region-to-Token Modeling（MRTM）和 Visual Translation Language Modeling（VTLM），以加快图像和所有感兴趣语言的联合嵌入空间的学习。在多语言图像文本检索和多语言视觉问答基准上的评估表明，我们的提议框架在各种非英语基准上实现了新的最先进状态，并在英语任务上保持与单语预训练模型相当的性能。

Apr, 2021

LAMPRET：面向布局的多模态文档预训练理解

本论文提出了一种基于多模态 Transformer 的分层框架（LAMPreT），并通过分层预训练来训练模型，以实现对文档布局的理解及其内部内容的分类和组合，来更好地进行文本块填充和图像建议两项任务。

Apr, 2021