infoVerse: 一种具有多维元信息的数据集特征化通用框架

ACLMay, 2023

infoVerse: 一种具有多维元信息的数据集特征化通用框架

infoVerse: A Universal Framework for Dataset Characterization with Multidimensional Meta-information

Jaehyung Kim, Yekyung Kim, Karin de Langis, Jinwoo Shin, Dongyeop Kang

TL;DR这篇论文提出了 infoVerse，一个基于模型驱动元信息的通用框架，用于数据集表征。它提供了一个新的特征空间，可以有效捕捉数据集的多维特征，并揭示了原始语义空间中不明显的数据集特征区域，可以指导用户（或模型）在探索、评估或注释时专注于哪些样本点。此外，论文还提出了一个新颖的基于 infoVerse 的采样方法，可以选择一组数据点，使其具有最大的信息量。最后，这些样本点在三个真实世界应用中表现出色，包括数据修剪，主动学习和数据注释。

Abstract

The success of nlp systems often relies on the availability of large, high-quality datasets. However, not all samples in these datasets are equally valuable for learning, as some may be redundant or noisy. Several methods for characterizing datasets based on →

nlp systems dataset characterization infoverse model-driven meta-information sampling method

发现论文，激发创造

VizNet: 一个大规模可视化学习和基准库

本文介绍了 VizNet，它是一个包含了超过 3100 万个数据集的大规模语料库，从开放数据库和在线可视化画廊中编译而来。它提供了一个必要的公共基线，用于比较可视化的设计技术，并为自动化可视化分析开发基准模型和算法。我们展示了如何从实验结果中学习知觉有效性度量，并展示了它在测试数据集上的预测能力。

May, 2019

深度 NLP 模型在文本分类中的统一理解

本文提出一个可视化分析工具 DeepNLPVis，采用基于互信息的量化方法对深度自然语言处理模型进行统一理解，通过多层次的可视化（语料库级别、样本级别和单词级别）支持从整体到个别的分析，通过两个分类任务的案例研究和模型比较，证明了 DeepNLPVis 能够帮助用户识别潜在问题并做出知情决策。

Jun, 2022

InPars: 使用大型语言模型的信息检索数据增强

利用大型预训练语言模型作为综合数据生成器，对于信息检索任务的未监督数据的微调，可以使检索器在零样本学习和有监督学习的任务中获得更好的表现

Feb, 2022

带元数据的神经模型文档

本篇论文基于主题模型，利用变分推断的方法，提出了一种通用的神经网络框架，允许灵活地结合元数据，通过迅速探索备选模型等方法，在保证困惑度、连贯性和稀疏性的情况下，取得了强大的性能。此外，通过对美国移民文章语料库的探索，展示了本框架的潜力。

May, 2017

Dataset2Vec：学习数据集元特征

本文提出了一种基于深层神经网络的元特征提取器 Dataset2Vec 和基于 DeepSet 结构的元学习方法，在大规模数据集优化任务中将元学习应用于不同模式的数据集，实现了性能优于专家工程方法的元特征学习以及元学习辅助任务。

May, 2019

Data-SUITE: 数据中心识别内分布不一致示例

利用 Data-SUITE 实现数据有效性定量化，针对 in-distribution 数据中不一致区域的问题，该框架结合 copula 建模，表示学习和符合性预测，提供特征级信赖区间估计器，可回答哪些测试实例可以可靠地由模型进行预测和识别特征空间中的不一致区域。

Feb, 2022

AircraftVerse：一个大规模多模态的航空器设计数据集

AircraftVerse 是一份航空器设计数据集，包含 27,714 种不同的航空器设计，提供了多种物理建模和仿真模型，以预测设计性能指标，且基准代理模型使用了不同的设计表现预测多种数据表征方法，可以帮助机器学习应用于航空器设计及其他 CPS 领域。

Jun, 2023

从电影剧情简介和评论中获取多视角故事人物塑造

使用电影简介和评论来描绘背景和风格的多视角模型，对象多标签数据集的实验包括电影简介和各种属性，表明相比于仅使用简介的方法，它可以提高分类准确性，最后，展示如何使用类型推导来提取评论中的故事属性。

Aug, 2019

解锁科学：跨模态科学信息提取的新型数据集和基准

从科学论文中提取关键信息有助于研究人员提高工作效率并加快科学进展的速度。在过去几年里，科学信息提取（SciIE）的研究见证了数个新系统和基准的发布。然而，现有以论文为中心的数据集主要只关注论文的特定部分（例如摘要），且为单模态（即只有文本或表格），这是因为处理复杂性和高昂的注释费用所导致。此外，核心信息可能存在于文本或表格中，或者跨越二者。为弥补这一数据可用性的差距并实现跨模态信息提取，同时减轻标注成本，我们提出了一个半监督的流程，用于迭代地对文本中的实体、以及表格中的实体和关系进行注释。基于此流程，我们为科学界提供了一些新资源，包括一个高质量的基准、一个大型语料库和一个半监督的注释流程。我们进一步报告了最先进的信息提取模型在提出的基准数据集上的性能作为一个基准。最后，我们探索了像 ChatGPT 这样的大型语言模型在当前任务中的潜在能力。我们的新数据集、结果和分析验证了半监督流程的有效性和效率，同时我们也讨论了其剩余的局限性。

Nov, 2023

INFOTABS：基于半结构化数据表的推断

本文介绍了一个名为 INFOTABS 的新数据集，它由基于来自维基百科信息框的表格的前提条件的人工编写的文本假设组成。该研究表明，尽管人类标注者同意表格 - 假设对之间的关系，但是多个标准建模策略在此任务中效果不佳，表明表格推理可能会带来困难的建模挑战。

May, 2020