大型语言模型能否作为基于表格的事实核查工具?
本文旨在研究大型语言模型在表格相关任务中的能力,发现当结合 “思维链” 提示时,大型语言模型可以在只有 1 个样本的情况下达到与某些 SotA 模型相当的表现。
Oct, 2022
本研究研究了大型语言模型在生成结构化表格数据文本时的性能,证明了大型语言模型在文本生成领域中的潜力和应用,并探讨了大型语言模型在文本生成质量自动评估及模型优化中的应用。
May, 2023
本文介绍 TabFact 数据集,其中包含 118k 人工标注的自然语言陈述,并以 16k 个 Wikipedia 表格作为证据,同时介绍了 Table-BERT 和 LPA,这两种算法都能在半结构化数据情况下进行事实验证,都有优点和不足之处,但是都能被进一步开发优化。
Sep, 2019
该研究通过对大型语言模型在事实检查方面的潜力进行初步调查,系统评估了它们在处理特定事实检查子任务中的能力,并与预训练和最先进的低参数模型进行了性能对比分析。实验证明大型语言模型在大多数场景中取得了与其他小型模型相媲美的性能,但在处理中文事实验证和整个事实检查流程中遇到了语言不一致和虚构的挑战,这些发现强调了进一步探索和研究以增强大型语言模型作为可靠事实检查器的能力,并揭示了在事实检查任务中可能面临的挑战。
Nov, 2023
提出了一种新颖的上下文学习框架 FealtLLM,利用大型语言模型作为特征工程师,生成适合表格预测的优化输入数据集,在推断阶段使用生成的特征和简单的下游机器学习模型 (如线性回归) 来推断分类的可能性,从而实现高性能的小样本学习。FeatLLM 框架只使用简单的预测模型和推断时发现的特征,相较于现有的基于大型语言模型的方法,FeatLLM 可以消除每个样本都需要查询大型语言模型的需求和克服提示大小的限制,并且仅需要对大型语言模型的 API 进行访问。在多个来自不同领域的表格数据集上的实验证明,FeatLLM 生成高质量的规则,明显 (平均达到 10%) 优于 TabLLM 和 STUNT 等替代方法。
Apr, 2024
通过对大型语言模型(LLMs)在表格任务方面的应用进行全面的概述,本文除了涵盖传统的表格问答(Table QA)和事实验证等领域,还强调了表格操作和高级表格数据分析等新方面,并介绍了 LLMs 中的指导调优、提示和基于代理的方法,同时也提出了私有部署、高效推理和开发广泛基准的相关挑战。
Feb, 2024
本文探索了利用语言模型自带的知识来创建基于 LM 的事实检查器的方法,并在闭卷条件下展示了我们的零 - shot LM 方法在标准 FEVER 任务上优于随机基准线,而我们的微调 LM 与标准基准线相比表现出色。虽然我们最终没有超越使用显式知识库的方法,但我们相信我们的探索显示出这种方法是可行的,并且有很大的发展空间。
Jun, 2020
利用大型语言模型(LLMs)解决数据科学中与表格数据相关的预测任务的研究,通过创建一个包含注解指令的综合数据集来对 LLM 进行大规模训练,研究应用训练好的模型在零样本预测、少样本预测和上下文学习场景中的实际应用,并通过实验证明该方法在表格智能方面相较于现有基准有显著改进。
Mar, 2024
通过将表格数据序列化为自然语言字符串和分类问题简述作为输入,使用大型语言模型进行零样本和小样本分类数据的研究,并评估了几种序列化方法,发现这种方法在多个基准数据集上优于以前的深度学习分类方法。
Oct, 2022
通过对大型语言模型的研究,揭示了它们在解释和推理表格数据方面的能力,发现表格结构变化对模型性能的影响,提出了表格结构归一化的方法,并且比较了文本推理和符号推理,同时通过多个推理路径的聚合,取得了在 WIKITABLEQUESTIONS 任务上的最新成果。
Dec, 2023