本文介绍了一种名为 ADAPET 的方法，可以在没有无标注数据的情况下提高 few-shot learning 的性能，在 SuperGLUE 基准测试中表现优于 Pattern Exploiting Training。

Mar, 2021

该研究中，给出了一种基于预训练语言模型和样本示例结合的方法来解决文本生成的任务，并介绍了基于此方法的 GenPET。实验表明，该方法在摘要和标题生成数据集上的表现均优于常规方法。

Dec, 2020

本文通过研究表格自然语言推理问题，针对文本的预训练上下文嵌入等现代自然语言处理方法在表格信息方面所面临的独特挑战，提出了有效的信息呈现改进，经过系统实验表明这些方法可以大幅提高模型的表格推理性能。

Apr, 2021

通过引入预训练语言模型（PTM）和三个处理阶段（MT、MF、CF），提出了一种新的名为 PTab 的框架，以将预训练模型用于建模表格数据，并取得比现有技术更好的分类效果。

Sep, 2022

本文介绍了一种半监督式的训练程序，称之为 PET，用来在低资源环境下学习某些 NLP 任务，并通过将输入示例转化为填空样式的短语来帮助语言模型理解给定任务

Jan, 2020

TP-BERTa 是一种专门用于表格数据预测的预训练语言模型，通过将数值特征值转换为离散的高维标记，并使用内部特征注意方法将特征值与相应的特征名称相结合，TP-BERTa 在典型的表格数据领域中在表格 DNN 中表现卓越，并与梯度提升决策树模型具备竞争力。

Mar, 2024

该论文提出了一种在语言模型中加入（半）结构化表格信息的方法，并在语义解析任务上取得了新的最佳结果。

May, 2020

本文研究如何将基于 transformer 的模型应用于工业级别的表格数据中的实体识别问题，并开发了一种专用的表格数据增强策略来提高性能，实验证明表格的归纳偏差对于 transformer-based 模型的收敛至关重要。

Sep, 2022

本文提出了 PET 模型，通过超图与消息传递来增强目标数据表达，并融合标签和特征以及高阶特征交互来实现表格预测任务中的数据预测。实验验证了 PET 模型的优越性以及模型组件和功能增强能力。

Jun, 2022

该论文提出了一种实际的半自动数据增强框架，可以为半结构化表格推理等 NLI 任务构建训练数据。使用生成可应用于相似表格的假设模板生成假设并基于人类逻辑约束和前提重述创建有理的反事实表。该框架可以产生类人的表推理示例，可在有限监督的情况下提高训练数据的规模。

Oct, 2022