Apr, 2023

TABLET: 学习表格数据指令

PDF
TL;DR通过介绍具有指导逻辑和结构修改的指令的 20 个不同的类表数据集 Benchmarket，本研究探讨了自然语言指令对 LLMs 在解决类表数据问题中的影响。结果表明，上下文指令对 Flan-T5 11b 零射击 F1 性能平均提高 44％，对 ChatGPT 提高 13％；同时，我们发现 LLMs 在类表预测中忽略指令，并且即使有样例也不能正确预测特定实例。因此，该研究认为教学学习必须具备新的能力。
machine learningtabular predictionnatural language instructionsbenchmarkllms
发现论文，激发创造
  • WikiTableEdit: 自然语言指令下的表格编辑基准

    本研究通过 WikiTableEdit 数据集，评估大型语言模型在不规则结构的表格编辑任务中的表现，提出了使用自然语言指令进行表格编辑的挑战，并将数据集发布给社区推进相关研究。

    Mar, 2024

  • 释放大型语言模型在数据科学中预测表格任务的潜力

    利用大型语言模型（LLMs）解决数据科学中与表格数据相关的预测任务的研究，通过创建一个包含注解指令的综合数据集来对 LLM 进行大规模训练，研究应用训练好的模型在零样本预测、少样本预测和上下文学习场景中的实际应用，并通过实验证明该方法在表格智能方面相较于现有基准有显著改进。

    Mar, 2024

  • 关于表格问答的语言模型鲁棒性研究

    通过评估 Large Language Models (LLMs) 在基于维基百科和财务报告的 Tabular Question Answering (TQA) 数据集上的表格理解能力，研究发现指令对性能有显著影响，新模型 Llama3 比之前的版本更具鲁棒性，但 WTQ 数据集存在数据污染和实际可靠性问题，需要通过结构感知自注意机制和更好处理特定领域的表格数据来改进 LLMs 的可靠性。

    Jun, 2024

  • 使用预训练语言模型建模表格数据

    通过引入预训练语言模型（PTM）和三个处理阶段（MT、MF、CF），提出了一种新的名为 PTab 的框架，以将预训练模型用于建模表格数据，并取得比现有技术更好的分类效果。

    Sep, 2022

  • AnnotatedTables：一份带有语言模型注释的大型表格数据集

    我们的研究展示了 LLM 在自动标注大量不同表格数据方面的潜力，通过 SQL 程序翻译、输入 - 目标列标注以及神经表格分类器的性能评估等研究，证明了 LLM 方法可以有效地自动标注大量表格数据并为各种具体的研究目标生成多样化的注释。

    Jun, 2024

  • 对大型语言模型在表格数据预测中的公平性调查

    通过一系列的实验，我们发现大型语言模型在表格预测任务中往往会继承社会偏见，这从根源上影响了它们的公平性，并且通过标签反转等方法可以显著减少这些偏见。

    Oct, 2023

  • TableLLM：在真实办公场景中让 LLMs 能够操作表格数据

    TableLLM 是一个具有 130 亿参数的强大的大型语言模型，专门用于高效处理嵌入在文件或电子表格中的表格数据操作任务，适用于实际的办公场景。我们提出了一种远程监督方法用于训练，包括推理过程扩展策略，有效帮助训练语言模型理解推理模式，以及交叉验证策略，确保自动生成的数据的质量。通过自行构建的评估管道和基准测试来评估 TableLLM 的性能，可以处理文件和电子表格格式，并突出显示了 TableLLM 与各种现有的通用型和面向表格数据的语言模型相比的优势。我们已公开发布了模型检查点、源代码、基准测试和用于用户交互的网络应用程序。

    Mar, 2024

  • 表格数据任务的自动提示生成系统

    通过创新自动生成系统，本文提出了两种新方法：一种基于强化学习的算法用于识别和排序与任务相关的列，另一种基于单元格相似性的方法用于增强少样例选择，该方法在 66 个数据集上经过了广泛测试，并使用两个不同的大型语言模型（Google flan-t5-xxl 和 Mixtral 8x7B）在数据填充、错误检测和实体匹配三个下游任务中展现出改进的性能。

    May, 2024

  • 基于语言建模的表格数据大规模迁移学习

    通过提取 TabLib 语料库中的一个大规模高质量训练数据集，我们针对表格数据预测问题，使用 Llama 3-8B 大型语言模型（LLM）进行微调，并采用一种新颖的填充和注意力机制，实现了在未见过的表格上的零样本准确率超过随机猜测 15 个百分点以上的 TabuLa-8B，以及在少样本情况下比 XGBoost 和 TabPFN 模型更准确的能力。

    Jun, 2024

  • 表格处理的大语言模型：调查报告

    通过对大型语言模型（LLMs）在表格任务方面的应用进行全面的概述，本文除了涵盖传统的表格问答（Table QA）和事实验证等领域，还强调了表格操作和高级表格数据分析等新方面，并介绍了 LLMs 中的指导调优、提示和基于代理的方法，同时也提出了私有部署、高效推理和开发广泛基准的相关挑战。

    Feb, 2024