EMNLPSep, 2020

数据集制图：利用训练动态映射和诊断数据集

PDF
TL;DR使用 Data Maps 工具基于模型的训练动态量化和诊断数据集。实验结果表明，数据地图揭示了数据集中的模糊、易于学习和难以学习的区域，这些发现对于构建健壮的模型和提高分布外泛化能力非常重要。
nlp researchdata mapstraining dynamicsmodel optimizationout-of-distribution generalization
发现论文，激发创造
  • CartoMark：地图模式识别和地图内容检索的基准数据集与机器智能

    通过建立大规模标准数据集，我们希望能够为 AI 增强的制图应用提供有用的资源，包括地图文本注释识别、地图场景分类、地图超分辨率重建和地图风格转换等任务，以推动深度学习方法在复杂地图内容识别、模式识别和内容检索方面的最新技术发展。

    Dec, 2023

  • 基于 CNN 和训练动态的自动文本识别

    使用 Data Maps 对 AuTexTification 数据集进行建模和表征，通过训练过程中个体样本的行为洞察（训练动态）。我们通过自信度、可变性和正确性这三个维度表征样本，发现有三个区域：易学习、模糊和难学习的样本。我们使用经典的 CNN 架构发现仅在模糊样本子集上训练模型可以提高模型的分布外泛化能力。

    May, 2024

  • 仅评估定位：在线地图数据集中的数据泄漏及解决方法

    基于监督学习的在线地图方法在训练和评估过程中存在数据泄露的严重问题。为了揭示在未知环境中的真实性能，本研究引入了地理分割的数据，并通过实验证明其对性能评估的重要影响。

    Dec, 2023

  • 基准透明度：测量数据对评估的影响

    本文提出了一个自动化框架来测量数据分布对自然语言处理模型性能和评估的影响，并通过两组实验表明数据的分布对评估具有统计学上的重要性，并且可预测模型的泛化能力。

    Mar, 2024

  • 地图学主动学习

    提出了一种名为 “Cartography Active Learning”(CAL) 的主动学习算法，该算法通过利用模型在单个实例上的行为作为代理来查找最具信息价值的实例进行标注。与其他常用的 AL 策略相比，CAL 是一种更有效的学习策略，可以通过利用小种子数据产生的训练动态来成功地进行 AL。

    Sep, 2021

  • 基于数据制图的预训练语言模型 MixUp 技术

    本文提出 TDMixUp 方法，利用训练动态，基于易于学习或模糊样本测量置信度、可变性、AUM 特征，让更具备信息量的样本相互插值，生成新样本，实验证明该方法不仅在较小的训练数据子集上取得竞争性能，而且在广泛的自然语言处理任务中，使用预训练语言模型 BERT 取得较低的期望校准误差。我们公开发布了我们的代码。

    May, 2022

  • 这些数据集之间有何不同？

    通过提出一套可解释性方法对比两个数据集，我们展示了这种方法在各种数据模式下的多功能性，不仅在解释质量和正确性方面优于相关方法，而且能够提供行动性的、互补的见解来有效理解和减轻数据集的差异。

    Mar, 2024

  • DsDm: 使用数据模型的模型感知数据集选择

    利用优化问题的框架从候选数据中选择有机会最大化模型性能的子集，避免主观标准，并明确了学习过程如何利用训练数据进行目标任务的预测，从而极大地提高了语言模型的性能。

    Jan, 2024

  • 先验通知高精地图预测模型对真实世界地图变化的探索

    通过对合成扰动进行实验和实际自主驾驶数据的评估，研究发现在现实世界高清地图变化中，合成先前扰动与实际观察到的地图变化之间仍存在较大的差距，从而限制了当前利用先前信息的高清地图预测模型的实用性。

    Jun, 2024

  • 元数据考古：利用训练动态开掘数据子集

    提供了一种高效的元数据考古框架，通过使用简单的转换和利用学习动态的差异来揭示和推断数据集中示例的元数据。

    Sep, 2022