ICMLJun, 2023

合成孤独：探索用于语法纠错的合成数据的负面影响

PDF
TL;DR本文研究数据质量控制（噪声注入和平衡数据）对基于真实数据和合成数据训练的语法纠错模型的影响，并比较了两种方法的效果，结果表明，与真实数据情况相同，数据质量控制方法对真实数据训练的模型有积极影响，而对合成数据训练的模型影响为负。
data-centric aisynthetic datareal-world datadata quality controlgrammatical error correction
发现论文，激发创造
  • 通过上下文数据增强来改进语法错误修正

    提出一种基于上下文增强的合成数据构建方法，用于语法错误校正，在生成模型的基础上结合基于规则的替换，以增加原始数据的错误分布一致性，并提出一种基于重标记的数据清洗方法来减小合成数据中噪声标签的影响。实验证明，该增强方法在有限的合成数据下始终优于强基线方法，并达到了最先进水平。

    Jun, 2024

  • 用于语法错误校正的可控数据合成方法

    提出两种数据合成方法来解决语法错误纠正任务中缺乏平行数据的问题，并对不同数据进行实验，结果表明错误率为 40％，错误类型的比例相同可以更好地提高模型性能。最终，合成约 1 亿数据，实现了与使用两倍数据的最新技术相当的性能。

    Sep, 2019

  • 大规模合成数据在语法错误校正中的评估

    本文介绍了 3 种衡量大规模人工错误数据的质量度量标准：可靠性、多样性和分布一致性，并利用这些标准自动评估数据集的质量。同时，这些指标也可以帮助向数据生成系统提供反馈，从而提高动态生成的合成数据的质量。

    Oct, 2022

  • 使用标记的错误模型生成语法纠错的合成数据

    本研究使用自动注释工具 ERRANT 的错误类型标签指导合成数据生成，并比较了多种模型以研究如何基于错误类型标签从正确的句子生成不合语法的句子。在此基础上，构建一个规模较大的合成数据集，其错误标签的频率分布与给定开发集相匹配。该合成数据集具有较好的性能表现，可以显著提高 BEA-19 和 CoNLL14 测试集的性能，并且可以有效地适应 GEC 系统，特别是对于混合本地和非本地语言的英语人群，其效果优于由高质量句对组成的真实训练数据。

    May, 2021

  • 人工智能反向影响：生成式人工智能时代中数据污染的注意事项

    人工智能生成技术和大型模型产生了现实感十足的输出，但盲目使用合成数据可能导致模型性能下降和伦理问题，因此需要平衡使用真实数据和合成数据的方法来优化结果。这篇综述研究了在生成模型中盲目整合合成数据对图像和文本模态的训练的后果，并探索了缓解这些影响的策略，旨在提供合成数据使用的全面视角，倡导平衡方法并探索在大型模型时代促进生成式人工智能技术可持续发展的实践。

    May, 2024

  • 利用数据中心人工智能重塑合成表格数据生成：一项全面的基准评估

    利用数据中心人工智能技术生成代表性的合成数据，以改进传统的合成数据生成方法，并促进其在提高合成数据质量和效果方面的应用。

    Oct, 2023

  • 根据内容评估句子以生成语法错误

    本文介绍一种基于学习的两阶段方法用于生成语法纠错中的合成数据，以缓解数据稀缺问题并提高性能。经过实验证明，我们所提出的方法训练出的模型优于其他先前工作中仅包含一个错误的句子合成数据所训练出的模型。

    Aug, 2022

  • 语言模型生成的合成数据的最佳实践和经验教训

    人工智能模型的成功依赖于大规模、多样化、高质量的数据集的可用性，而由于数据稀缺、隐私问题和高成本，获取这些数据集可能具有挑战性。合成数据作为一种有前景的解决方案出现，通过生成模仿真实世界模式的人工数据。本文提供了合成数据研究的概述，并讨论了其应用、挑战和未来方向。我们通过先前研究中的实证证据来展示其有效性，并强调确保其真实性、保真性和无偏性的重要性。我们强调了在使用合成数据构建更强大、包容性和可信赖的语言模型时的责任使用的需求。

    Apr, 2024

  • 为促进公正而收集具有全球视角的扎实合成数据

    通过综合收集来自 125 个国家的 12 种语言的新闻文章，结合强制的专题多样化、翻译和摘要生成，我们提出了一种新颖的方法来创建合成数据集，这些数据集能够准确地反映真实世界的复杂性，并解决传统数据集中的代表不足问题，初步结果表明，在传统命名实体识别基准测试中，我们的合成数据使性能提升多达 7.3％，突显了我们的合成数据在模拟全球数据源中丰富多样的细微差异方面的有效性。

    Jun, 2024

  • MixEdit: 重访数据增强与语法错误修正

    通过生成伪数据进行数据增强已被证明在语法错误修正（GEC）领域中缓解数据稀缺性的挑战中有效。本文引入了可解释且计算高效的两个度量：亲和性和多样性，研究发现高亲和性且适当多样性的优秀 GEC 数据增强策略可以更好地提高 GEC 模型的性能，并提出了一种名为 MixEdit 的数据增强方法，通过策略性和动态地增加真实数据而不需要额外的单语语料库。在英文和中文 GEC 数据集上的实验证实了我们发现的正确性和 MixEdit 的有效性，结果表明 MixEdit 显著提高 GEC 模型性能并且与传统数据增强方法互补。

    Oct, 2023