通过 LLMs 与决策树推理进行优化的表格数据特征生成

Jun, 2024

通过 LLMs 与决策树推理进行优化的表格数据特征生成

Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning

Jaehyun Nam, Kyuyoung Kim, Seunghyuk Oh, Jihoon Tack, Jaehyung Kim...

TL;DR提出了一种基于大型语言模型（LLMs）的新的表格学习框架，称为优化列特征生成器与决策树推理（OCTree）。使用 LLMs 的推理能力，通过不手动指定搜索空间并提供基于语言的推理信息，将过去的实验作为反馈来改进迭代的规则，从而找到好的特征生成规则。实证结果表明，这一简单框架在各种表格基准上始终提高了各种预测模型的性能，优于竞争的自动特征工程方法。

Abstract

Learning effective representations from raw data is crucial for the success of deep learning methods. However, in the tabular domain, practitioners often prefer augmenting raw column features over using learned r

effective representations deep learning feature engineering large language models automatic feature engineering

发现论文，激发创造

大型语言模型可自动为少样本表格学习生成特征

提出了一种新颖的上下文学习框架 FealtLLM，利用大型语言模型作为特征工程师，生成适合表格预测的优化输入数据集，在推断阶段使用生成的特征和简单的下游机器学习模型 (如线性回归) 来推断分类的可能性，从而实现高性能的小样本学习。FeatLLM 框架只使用简单的预测模型和推断时发现的特征，相较于现有的基于大型语言模型的方法，FeatLLM 可以消除每个样本都需要查询大型语言模型的需求和克服提示大小的限制，并且仅需要对大型语言模型的 API 进行访问。在多个来自不同领域的表格数据集上的实验证明，FeatLLM 生成高质量的规则，明显 (平均达到 10%) 优于 TabLLM 和 STUNT 等替代方法。

Apr, 2024

用大型语言模型重新思考表格数据理解

通过对大型语言模型的研究，揭示了它们在解释和推理表格数据方面的能力，发现表格结构变化对模型性能的影响，提出了表格结构归一化的方法，并且比较了文本推理和符号推理，同时通过多个推理路径的聚合，取得了在 WIKITABLEQUESTIONS 任务上的最新成果。

Dec, 2023

重访基于列生成的数学启发式方法学习分类树

决策树是一种高度可解释的模型，用于解决机器学习中的分类问题。本文提出了一种基于列生成的启发式方法来学习决策树，在多类别分类实例中减少子问题数量，并改进了数据依赖约束和线性规划松弛解的分离模型，以提高可扩展性。

Aug, 2023

OpenTab: 推进作为开放域表格推理器的大型语言模型

提出了 OpenTab，一个开放域表格推理框架，利用大型语言模型（LLMs）通过表格检索器获取相关表格，并生成 SQL 程序来高效解析检索到的表格，从而实现了准确的响应，实验证明 OpenTab 在开放和封闭领域的设置中显著优于基线方法，达到了高达 21.5% 的更高准确性。

Feb, 2024

大型语言模型在表格推理中的调查

使用大型语言模型 (LLMs) 改善表格推理性能是当前主流方法。本文分析了在 LLMs 时代中提升表格推理性能的主要技术以及 LLMs 相较于之前方法的优势，并提供了改进现有方法和扩展实际应用的研究方向，以激发未来表格推理研究的进一步发展。

Feb, 2024

LLM 在合成表格数据生成中天生出色吗？

大语言模型在生成合成文本和图像方面表现出色；然而，在生成表格数据方面，它们的潜力相对较少。本文展示了使用大语言模型，无论是原样使用还是传统的微调后使用，作为合成表格生成器是明显不足的。通过使用排列注意力，我们展示了如何使大语言模型克服其中的一些缺陷。

Jun, 2024

大语言模型结构化数据提取可解释的医疗诊断

本研究提出了一种从文本医学报告中提取结构化表格数据的新方法 TEMED-LLM，结合具有解释性的机器学习模型，以在医学诊断中实现端到端可解释性的预测，较传统的文本分类模型在医学诊断方面具有更好的性能表现。

Jun, 2023

TabSQLify：通过表格分解提高 LLMs 的推理能力

TabSQLify 是一种新颖的方法，通过利用文本转 SQL 生成将表格分解为较小且相关的子表，仅包含回答问题或验证陈述所需的基本信息，然后执行推理任务。在对四个具有挑战性的数据集进行全面评估的情况下，我们的方法展现出与依赖完整表格作为输入的流行方法相当或更好的性能。此外，我们的方法可以显著减少输入上下文的长度，使其在大规模表格推理应用中更具可扩展性和高效性。

Apr, 2024

提升预训练语言模型在表格预测任务中的性能

TP-BERTa 是一种专门用于表格数据预测的预训练语言模型，通过将数值特征值转换为离散的高维标记，并使用内部特征注意方法将特征值与相应的特征名称相结合，TP-BERTa 在典型的表格数据领域中在表格 DNN 中表现卓越，并与梯度提升决策树模型具备竞争力。

Mar, 2024

TableLLM：在真实办公场景中让 LLMs 能够操作表格数据

TableLLM 是一个具有 130 亿参数的强大的大型语言模型，专门用于高效处理嵌入在文件或电子表格中的表格数据操作任务，适用于实际的办公场景。我们提出了一种远程监督方法用于训练，包括推理过程扩展策略，有效帮助训练语言模型理解推理模式，以及交叉验证策略，确保自动生成的数据的质量。通过自行构建的评估管道和基准测试来评估 TableLLM 的性能，可以处理文件和电子表格格式，并突出显示了 TableLLM 与各种现有的通用型和面向表格数据的语言模型相比的优势。我们已公开发布了模型检查点、源代码、基准测试和用于用户交互的网络应用程序。

Mar, 2024