ICMLJun, 2024

文本序列化与传统表格机器学习范式的关系

PDF
TL;DR最近的研究探讨了语言模型如何在表格机器学习任务中用作特征表示和预测的方法，通过使用文本串行化和有监督的微调技术，我们评估了这些新兴的语言模型技术与传统模式在表格机器学习中的适用性和可靠性，并调查了数据表示和整理方式对预测性能的影响。结果显示，当前的预训练模型不应取代传统方法。
发现论文，激发创造
  • 为了提升少样本分类的表格数据序列化

    利用大型语言模型（LLMs）在表格数据分类中的整合进行了研究，并引入三种新的序列化技术，包括显著的 LaTeX 序列化方法。该方法显著提升了 LLMs 在处理领域特定数据集方面的性能，具有内存效率和充分利用复杂数据结构的能力，并通过包括特征组合和重要性在内的广泛实验，证明了我们工作在准确性和效率方面的优越性。

    Dec, 2023

  • TabLLM：基于大型语言模型的小样本表格数据分类

    通过将表格数据序列化为自然语言字符串和分类问题简述作为输入，使用大型语言模型进行零样本和小样本分类数据的研究，并评估了几种序列化方法，发现这种方法在多个基准数据集上优于以前的深度学习分类方法。

    Oct, 2022

  • 使用预训练语言模型建模表格数据

    通过引入预训练语言模型（PTM）和三个处理阶段（MT、MF、CF），提出了一种新的名为 PTab 的框架，以将预训练模型用于建模表格数据，并取得比现有技术更好的分类效果。

    Sep, 2022

  • 用大型语言模型重新思考表格数据理解

    通过对大型语言模型的研究，揭示了它们在解释和推理表格数据方面的能力，发现表格结构变化对模型性能的影响，提出了表格结构归一化的方法，并且比较了文本推理和符号推理，同时通过多个推理路径的聚合，取得了在 WIKITABLEQUESTIONS 任务上的最新成果。

    Dec, 2023

  • 填补鸿沟：利用大型语言模型解读表格数据

    大型语言模型在表格问答任务中的首次应用以增强模型对表格结构和内容的理解。

    Aug, 2023

  • 释放大型语言模型在数据科学中预测表格任务的潜力

    利用大型语言模型（LLMs）解决数据科学中与表格数据相关的预测任务的研究，通过创建一个包含注解指令的综合数据集来对 LLM 进行大规模训练，研究应用训练好的模型在零样本预测、少样本预测和上下文学习场景中的实际应用，并通过实验证明该方法在表格智能方面相较于现有基准有显著改进。

    Mar, 2024

  • 提升预训练语言模型在表格预测任务中的性能

    TP-BERTa 是一种专门用于表格数据预测的预训练语言模型，通过将数值特征值转换为离散的高维标记，并使用内部特征注意方法将特征值与相应的特征名称相结合，TP-BERTa 在典型的表格数据领域中在表格 DNN 中表现卓越，并与梯度提升决策树模型具备竞争力。

    Mar, 2024

  • 对大型语言模型在表格数据预测中的公平性调查

    通过一系列的实验，我们发现大型语言模型在表格预测任务中往往会继承社会偏见，这从根源上影响了它们的公平性，并且通过标签反转等方法可以显著减少这些偏见。

    Oct, 2023

  • 将 LLM 先验融入表格学习器

    我们介绍了一种方法，将大型语言模型（LLMs）与传统表格数据分类技术相结合，解决 LLMs 在数据序列化敏感性和偏差方面的挑战。我们引入了两种策略，利用 LLMs 对分类变量进行排序和生成连续变量与目标之间相关性的先验，提高了在少样本情况下的性能；我们专注于逻辑回归，引入了 MonotonicLR，它使用非线性单调函数将序数映射为基数，同时保留 LLM 确定的顺序。与基准模型的验证表明，我们的方法在低数据情景下表现出卓越的性能，同时保持可解释性。

    Nov, 2023

  • LLM 在合成表格数据生成中天生出色吗？

    大语言模型在生成合成文本和图像方面表现出色；然而，在生成表格数据方面，它们的潜力相对较少。本文展示了使用大语言模型，无论是原样使用还是传统的微调后使用，作为合成表格生成器是明显不足的。通过使用排列注意力，我们展示了如何使大语言模型克服其中的一些缺陷。

    Jun, 2024