Jul, 2023

基于主动学习的预训练数据去重模型

PDF
TL;DR在大数据时代，数据质量问题变得越来越突出。我们提出了一种基于主动学习的预训练去重模型，该模型是首个将主动学习应用于语义级别去重问题的工作。实验结果表明，我们的模型在去重数据识别方面优于之前的最先进技术，基准数据集上的召回率得到了 28% 的提升。
big datadata qualityduplicate datadeduplicationactive learning
发现论文，激发创造
  • DUEL: 在主动内存上的重复消除用于自监督的类别不平衡学习

    通过活跃数据过滤过程，在我们的新框架 Duplicate Elimination (DUEL) 中，在自监督预训练期间提出了一种成本高效的解决类别不平衡问题的机制。该框架集成了受人类工作记忆启发的活动记忆，并引入了数据多样性度量即独特性信息，以优化特征提取器和记忆。DUEL 策略通过替换最多的重复数据样本来增强记忆中的独特性信息，从而减轻类别不平衡问题。我们验证了 DUEL 框架在类别不平衡环境中的有效性，并通过各种指标和可视化分析了 DUEL 策略在训练过程中的作用。

    Feb, 2024

  • 使用深度预训练模型和贝叶斯不确定性估计进行序列标注的主动学习

    本文研究在序列标注上采用迁移学习和主动学习来减少注释预算的可行性，并通过 Bayesian 不确定性估计方法和 Monte Carlo Dropout 选项在深度预训练模型的主动学习框架中进行了广泛的实证研究，并发现了不同类型模型的最佳组合。此外，我们还展示了在主动学习期间获取实例的全尺寸 Transformer 可以被替换为简化版本，这可以提供更好的计算性能，降低了应用深度主动学习的障碍。

    Jan, 2021

  • 通过语义去重实现大规模数据高效学习

    使用预训练模型中的嵌入来识别和删除语义重复项 SemDeDup，可以在保留性能和提高超出分布的模型表现的同时，删除数据中约 50％的语义重复项。

    Mar, 2023

  • 数据去重对语言模型的训练有益

    研究发现现有的语言模型数据集包含大量近似重复的示例和长的重复子串。因此，在这些数据集上训练的语言模型的超过 1％的非提示输出是直接从训练数据复制的。我们开发了两个工具，使我们能够定位训练数据集中的冗余数据，以便通过去重来训练模型，减少内存化文本的发生。这也减少了训练和测试重叠，从而提高了模型的准确性。我们在指定的 https 网址上发布我们的工作和代码。

    Jul, 2021

  • 去重训练数据减缓语言模型的隐私风险

    该研究显示，大型语言模型在面对隐私攻击时，其攻击的成功与常用网络爬取的训练集中的重复数据有很大关系，而消除重复数据的方法可以显著提高语言模型的隐私安全性。

    Feb, 2022

  • 基于预训练语言模型的句子匹配主动学习

    本文提出了一种基于预训练语言模型的主动学习方法，应用于句子匹配，通过提供语言标准来测量实例并选择更有效的实例进行注释，实验证明该方法可以在更少的标记训练实例的情况下实现更高的准确性。

    Oct, 2020

  • 法律文本分类的高效主动学习流程

    本研究提出了一种在法律领域内使用主动学习与预训练语言模型的管道，其中利用了三个阶段的未标记数据，通过知识蒸馏引导模型的嵌入到一个语义上有意义的空间，并提出了一种简单而有效的策略找到初始的标记样本，实验表明相比传统方法在数据标注成本上更为高效且性能更好。

    Nov, 2022

  • 主动学习帮助预训练模型学习预期任务

    本文探讨使用预训练模型进行主动学习任务中的歧义消除，发现预训练模型使用基于不确定性的主动学习时所需标注数量降低至非预训练模型的五分之一，并且可以通过在预训练的表示空间中选择具有消除歧义的特征属性的数据样本来获得这种性能提升。

    Apr, 2022

  • 社交媒体数据选择的生成式去重

    使用生成复制技术解决社交媒体数据中存在的冗余问题，提高语言理解性能并节省训练时间。

    Jan, 2024

  • 深度主动学习用于异常检测

    介绍了一种基于深度学习的主动学习方法，可以有效地从正常数据中分离离群值，并讨论了它们在发现聚类和低密度异常方面的性能

    May, 2018