EMNLPOct, 2023

利用大型语言模型进行文本分类的合成数据生成：潜力与局限性

PDF
TL;DR通过研究 LLM 生成的合成数据的表现与分类的主观性之间的关系，我们发现主观性对于模型训练的合成数据的性能具有负面影响，从而限制了利用 LLM 进行合成数据生成的潜力和局限性。
high-quality training datatext classification modelslarge language models (llms)synthetic datasetssubjectivity
发现论文，激发创造
  • 关于基于 LLMs 驱动的合成数据生成、整理和评估的调查

    这篇论文旨在通过提出一种基于合成数据生成的通用工作流程的组织方式，突出现有研究中的差距，并概述未来研究的前景，以引导学术和工业界更深入、更系统地探索基于大型语言模型驱动的合成数据生成的能力和应用。

    Jun, 2024

  • 探索 LLMs 作为有针对性的合成文本数据源，以最小化高置信度的错误分类

    使用大型语言模型进行数据增强，减少高置信度错误分类，并与人类数据进行比较，以降低成本并保持同样的准确性。

    Mar, 2024

  • 语言多样性的好奇衰退：基于合成文本训练语言模型

    研究通过以前辈生成的合成数据对大型语言模型进行训练的后果，重点关注这种训练方法对语言多样性的影响，特别是在逐步迭代的过程中。通过开展递归微调实验，应用一系列针对词汇、句法和语义多样性的新型度量标准，我们的研究发现模型输出的多样性在连续迭代中显著降低。这一趋势强调了在训练大型语言模型时使用前辈生成文本的潜在风险，特别是涉及保留语言丰富性方面。我们的研究突出了需要仔细考虑这种训练方法对大型语言模型的语言能力所产生的长期影响。

    Nov, 2023

  • 语言模型生成的合成数据的最佳实践和经验教训

    人工智能模型的成功依赖于大规模、多样化、高质量的数据集的可用性，而由于数据稀缺、隐私问题和高成本，获取这些数据集可能具有挑战性。合成数据作为一种有前景的解决方案出现，通过生成模仿真实世界模式的人工数据。本文提供了合成数据研究的概述，并讨论了其应用、挑战和未来方向。我们通过先前研究中的实证证据来展示其有效性，并强调确保其真实性、保真性和无偏性的重要性。我们强调了在使用合成数据构建更强大、包容性和可信赖的语言模型时的责任使用的需求。

    Apr, 2024

  • 生成人工智能用于合成数据生成：方法、挑战与未来

    该论文探讨利用巨大的大语言模型生成特定任务训练数据的先进技术，介绍了方法论、评估技术和实际应用，并讨论了当前的限制和未来研究的潜在路径。

    Mar, 2024

  • 使用大型语言模型生成真实的合成数据：计算社会科学案例研究

    该研究论文介绍了采用基于 grounding、过滤和分类系统的生成方法来提高合成数据的准确性，并在讽刺检测任务中对比研究了三种方法以提高准确性，评估证明 Grounding 方法更为有效，该研究提供了合成数据高保真性的一些建议。

    May, 2023

  • 合成数据是否使得大型语言模型更高效？

    本文探讨了在自然语言处理中合成数据生成的细微差别，重点放在基于模板的问题生成上，并比较了其优点和局限性，最后通过实证评估展示了基于模板的合成数据对现代转换器模型性能的影响。研究结果旨在指导自然语言处理从业者在利用合成数据的潜力上，确保在多种应用中获得最佳模型性能。

    Oct, 2023

  • 用于监督文本分析的合成文本

    本文介绍了受控产生合成文本的方法，以解决政治科学家在使用受监督文本模型方面面临的挑战。作者用三个应用程序证明了合成文本的实用性，包括生成描述乌克兰战斗的虚拟推文，为训练事件检测系统的合成新闻文章，以及训练句子级民粹主义分类器的多语言语料库。

    Mar, 2023

  • 揭示 LLM 生成数据的本质

    本研究探讨了大型语言模型（LLMs）在生成人工数据中的不断扩大的作用。尽管人工数据能够与人类性能相匹配，但本文揭示了显著的潜在差异，尤其是在复杂任务中，LLMs 常常错过对内在人类生成内容的微妙理解。该研究批判性地考察了多样化的 LLM 生成数据，并强调了在数据创建和使用 LLMs 时遵循道德实践的必要性。它凸显了解决 LLM 生成内容中产生的偏差和人为因素对于未来研究和开发的重要性。所有数据和代码都可在我们的项目页面上获得。

    Jan, 2024

  • 针对对话推荐系统的合成数据集评估

    本研究提出对生成模型产生的数据集进行多方面评估的框架，探讨了各种评估方法的优缺点

    Dec, 2022