语言多样性的好奇衰退：基于合成文本训练语言模型

Nov, 2023

语言多样性的好奇衰退：基于合成文本训练语言模型

The Curious Decline of Linguistic Diversity: Training Language Models on Synthetic Text

Yanzhu Guo, Guokan Shang, Michalis Vazirgiannis, Chloé Clavel

TL;DR研究通过以前辈生成的合成数据对大型语言模型进行训练的后果，重点关注这种训练方法对语言多样性的影响，特别是在逐步迭代的过程中。通过开展递归微调实验，应用一系列针对词汇、句法和语义多样性的新型度量标准，我们的研究发现模型输出的多样性在连续迭代中显著降低。这一趋势强调了在训练大型语言模型时使用前辈生成文本的潜在风险，特别是涉及保留语言丰富性方面。我们的研究突出了需要仔细考虑这种训练方法对大型语言模型的语言能力所产生的长期影响。

Abstract

This study investigates the consequences of training large language models (LLMs) on synthetic data generated by their predecessors, an increasingly prevalent practice aimed at addressing the limited supply of hu

large language models synthetic data linguistic diversity training methodology recursive fine-tuning

发现论文，激发创造

利用大型语言模型进行文本分类的合成数据生成：潜力与局限性

通过研究 LLM 生成的合成数据的表现与分类的主观性之间的关系，我们发现主观性对于模型训练的合成数据的性能具有负面影响，从而限制了利用 LLM 进行合成数据生成的潜力和局限性。

Oct, 2023

合成数据训练的糟糕程度：语言模型崩溃的统计分析

模型崩溃是指在使用之前训练的模型生成的合成数据训练新模型时性能下降的现象，本文通过统计模型对各种递归训练情景的影响进行了深入研究，发现当仅使用合成数据进行训练时无法避免模型崩溃，但当混合使用真实数据和合成数据时，我们提供了在合成数据量不超过一定阈值时模型崩溃可以最终避免的估计值，我们的理论结论得到了经验验证的支持。

Apr, 2024

大型语言模型合成文本数据集的语言多样性可视化

本研究提出了一款交互式可视化工具 LinguisticLens，通过对大语言模型生成的数据集的句法多样性进行聚类，用户可以快速检查数据集的总体情况并检查单个示例。

May, 2023

关于基于 LLMs 驱动的合成数据生成、整理和评估的调查

这篇论文旨在通过提出一种基于合成数据生成的通用工作流程的组织方式，突出现有研究中的差距，并概述未来研究的前景，以引导学术和工业界更深入、更系统地探索基于大型语言模型驱动的合成数据生成的能力和应用。

Jun, 2024

大型语言模型（LLM）的利用中的挑战和影响因素

当面临领域特定问题时，大语言模型（LLMs）可能会遇到问题，如知识遗忘、知识重复、知识幻觉以及知识毒性，这些问题突显了 LLMs 的训练数据和算法设计的困扰。为了解决这些问题，建议对训练数据进行多样化，微调模型，提高透明度和可解释性，并引入伦理和公平性培训。未来的技术趋势可能会倾向于迭代方法学、多模态学习、模型个性化定制以及实时学习和反馈机制。最重要的是，未来的 LLMs 应确保在为人类服务时优先考虑公平、透明和伦理，确保它们持有高的道义和道德标准。

Oct, 2023

创造力已离开聊天窗口：语言模型去偏见的代价

使用强化学习通过人类反馈进行对齐技术（RLHF）在大语言模型的创造力上产生意外后果。

Jun, 2024

从大型语言模型中我们能提取多少种不同的观点？基于评判标准的多样性激励！

调查了大型语言模型（LLMs）在生成多样化观点和理由方面的能力，提出了一种基于标准提示技术来衡量透视多样性的方法，并发现利用句子嵌入和距离度量来衡量语义多样性是不够的。研究结果表明，LLMs 能够根据任务主观性的程度产生多样的观点。

Nov, 2023

语言模型书写是否减少内容多样性？

通过对大型语言模型的合作写作进行实验，我们测量了共同撰写对多样性的影响，发现使用 InstructGPT 会显著降低多样性，增加作者之间的文字相似性和降低词汇和内容多样性。这表明通过模型适应人类反馈来提高生成质量可能以减少多样性为代价。

Sep, 2023

全球数据限制：大型语言模型中的道德与效果挑战

本文研究了大规模语言模型（LLM）获取高质量训练数据所面临的多方面挑战，包括数据稀缺、偏差以及低质量内容，并通过使用 GPT-4 和 GPT-4o 进行一系列评估，证明这些数据限制对模型性能和伦理对齐的不利影响。我们提出并验证了一些旨在提高数据质量和模型稳健性的缓解策略，包括高级数据过滤技术和伦理数据收集实践。我们的发现强调了开发 LLM 时需要积极考虑数据限制的有效性和伦理影响，以促进创建更可靠和普遍适用的人工智能系统。

Jun, 2024

基于 LLM 的文本增强中多样性激励对样本多样性和下游模型性能的影响

最新的生成型大规模语言模型（LLM）被应用于数据增强任务，在这些任务中使用少量文本样本进行 LLM 重述，然后用于模型的微调。本研究调查了三种在众包中广泛使用的文本多样性激励方法：禁忌词、先前异常解决方案的提示和先前异常解决方案的链接，并使用它们作为指导 LLM 对文本数据集进行增强的一部分的指令，测量它们对生成文本的词汇多样性和下游模型性能的影响。我们比较了在 5 种不同 LLM 和 6 个数据集上的影响效果。研究结果表明，禁忌词对多样性的增加最为显著，而使用先前创建的重述作为提示时下游模型性能最佳。

Jan, 2024