Dec, 2023

为了提升少样本分类的表格数据序列化

PDF
TL;DR利用大型语言模型（LLMs）在表格数据分类中的整合进行了研究，并引入三种新的序列化技术，包括显著的 LaTeX 序列化方法。该方法显著提升了 LLMs 在处理领域特定数据集方面的性能，具有内存效率和充分利用复杂数据结构的能力，并通过包括特征组合和重要性在内的广泛实验，证明了我们工作在准确性和效率方面的优越性。
large language modelstabular data classificationserialization techniquesmemory efficiencydomain-specific datasets
发现论文，激发创造
  • 文本序列化与传统表格机器学习范式的关系

    最近的研究探讨了语言模型如何在表格机器学习任务中用作特征表示和预测的方法，通过使用文本串行化和有监督的微调技术，我们评估了这些新兴的语言模型技术与传统模式在表格机器学习中的适用性和可靠性，并调查了数据表示和整理方式对预测性能的影响。结果显示，当前的预训练模型不应取代传统方法。

    Jun, 2024

  • TabLLM：基于大型语言模型的小样本表格数据分类

    通过将表格数据序列化为自然语言字符串和分类问题简述作为输入，使用大型语言模型进行零样本和小样本分类数据的研究，并评估了几种序列化方法，发现这种方法在多个基准数据集上优于以前的深度学习分类方法。

    Oct, 2022

  • 将 LLM 先验融入表格学习器

    我们介绍了一种方法，将大型语言模型（LLMs）与传统表格数据分类技术相结合，解决 LLMs 在数据序列化敏感性和偏差方面的挑战。我们引入了两种策略，利用 LLMs 对分类变量进行排序和生成连续变量与目标之间相关性的先验，提高了在少样本情况下的性能；我们专注于逻辑回归，引入了 MonotonicLR，它使用非线性单调函数将序数映射为基数，同时保留 LLM 确定的顺序。与基准模型的验证表明，我们的方法在低数据情景下表现出卓越的性能，同时保持可解释性。

    Nov, 2023

  • 释放大型语言模型在数据科学中预测表格任务的潜力

    利用大型语言模型（LLMs）解决数据科学中与表格数据相关的预测任务的研究，通过创建一个包含注解指令的综合数据集来对 LLM 进行大规模训练，研究应用训练好的模型在零样本预测、少样本预测和上下文学习场景中的实际应用，并通过实验证明该方法在表格智能方面相较于现有基准有显著改进。

    Mar, 2024

  • TableLLM：在真实办公场景中让 LLMs 能够操作表格数据

    TableLLM 是一个具有 130 亿参数的强大的大型语言模型，专门用于高效处理嵌入在文件或电子表格中的表格数据操作任务，适用于实际的办公场景。我们提出了一种远程监督方法用于训练，包括推理过程扩展策略，有效帮助训练语言模型理解推理模式，以及交叉验证策略，确保自动生成的数据的质量。通过自行构建的评估管道和基准测试来评估 TableLLM 的性能，可以处理文件和电子表格格式，并突出显示了 TableLLM 与各种现有的通用型和面向表格数据的语言模型相比的优势。我们已公开发布了模型检查点、源代码、基准测试和用于用户交互的网络应用程序。

    Mar, 2024

  • 大型语言模型可自动为少样本表格学习生成特征

    提出了一种新颖的上下文学习框架 FealtLLM，利用大型语言模型作为特征工程师，生成适合表格预测的优化输入数据集，在推断阶段使用生成的特征和简单的下游机器学习模型 (如线性回归) 来推断分类的可能性，从而实现高性能的小样本学习。FeatLLM 框架只使用简单的预测模型和推断时发现的特征，相较于现有的基于大型语言模型的方法，FeatLLM 可以消除每个样本都需要查询大型语言模型的需求和克服提示大小的限制，并且仅需要对大型语言模型的 API 进行访问。在多个来自不同领域的表格数据集上的实验证明，FeatLLM 生成高质量的规则，明显 (平均达到 10%) 优于 TabLLM 和 STUNT 等替代方法。

    Apr, 2024

  • 用大型语言模型重新思考表格数据理解

    通过对大型语言模型的研究，揭示了它们在解释和推理表格数据方面的能力，发现表格结构变化对模型性能的影响，提出了表格结构归一化的方法，并且比较了文本推理和符号推理，同时通过多个推理路径的聚合，取得了在 WIKITABLEQUESTIONS 任务上的最新成果。

    Dec, 2023

  • 基于语言建模的表格数据大规模迁移学习

    通过提取 TabLib 语料库中的一个大规模高质量训练数据集，我们针对表格数据预测问题，使用 Llama 3-8B 大型语言模型（LLM）进行微调，并采用一种新颖的填充和注意力机制，实现了在未见过的表格上的零样本准确率超过随机猜测 15 个百分点以上的 TabuLa-8B，以及在少样本情况下比 XGBoost 和 TabPFN 模型更准确的能力。

    Jun, 2024

  • LLM 在合成表格数据生成中天生出色吗？

    大语言模型在生成合成文本和图像方面表现出色；然而，在生成表格数据方面，它们的潜力相对较少。本文展示了使用大语言模型，无论是原样使用还是传统的微调后使用，作为合成表格生成器是明显不足的。通过使用排列注意力，我们展示了如何使大语言模型克服其中的一些缺陷。

    Jun, 2024

  • 提升预训练语言模型在表格预测任务中的性能

    TP-BERTa 是一种专门用于表格数据预测的预训练语言模型，通过将数值特征值转换为离散的高维标记，并使用内部特征注意方法将特征值与相应的特征名称相结合，TP-BERTa 在典型的表格数据领域中在表格 DNN 中表现卓越，并与梯度提升决策树模型具备竞争力。

    Mar, 2024