通过使用 SUMMaug，一种简单但有效的基于摘要的数据增强方法，我们能够解决预训练语言模型在理解长文本（如文档）时遇到的数据稀疏问题，并在文档分类任务中取得了稳健性和准确性上的优势。

Dec, 2023

本研究探讨了半监督学习与预训练语言模型在数据生成文本方面的效果。结果表明，半监督学习方法可以增强输出质量和多样性，即使已经使用了预训练语言模型。

Jul, 2022

本文旨在研究文本摘要模型对词级同义替换和噪声的鲁棒性，发现模型鲁棒性不足。为提高模型的鲁棒性，提出用语言模型生成对抗样本并在输入空间内使用这些样本多样化原始数据，同时在隐藏空间内进行流形混合操作以引入更多的编码器编码输出。测试结果表明，该方法得到了有效的改进。

Jun, 2023

本文提出两种简单有效的无监督方法来生成针对特定方面和一般意见的摘要，其训练于构建的人工合成数据集上，第一种方法基于原始数据中的方面种子词，第二种方法则是利用自然语言推断模型。

Mar, 2023

提出了一种自动生成大量数据增强指令并选择最适合任务的指令的新解决方案，从而赋予 LLM 创建高质量增强数据用于不同的下游任务的能力。在 26 个少样本学习任务中，该方法一致生成比非 LLM 和基于 LLM 的数据增强方法质量更好的增强数据，表现最佳。

Apr, 2024

OpinionDigest 是一款使用 Aspect-based Sentiment Analysis 模型并训练 Transformer 模型来从多个评论中提取、合并、评估和转化用户观点的抽象意见摘要框架，可针对特定用户需求生成定制的意见摘要，同时在 Yelp 数据上表现出比竞争基线更好的摘要质量。

May, 2020

该研究提出了一种基于决策边界的数据增强策略，利用预训练语言模型来提高鲁棒性；该技术首先将潜在特征接近决策边界，然后通过重构生成一个带有软标签的模糊版本，并建议使用中点 K 采样来增强生成句子的多样性。通过大量实验证明了该增强策略与其他方法相比的性能，同时深入研究了软标签和中点 K 采样的效果以及该方法在课程数据增强中的可扩展性。

Mar, 2024

本文提出一种新的数据增广技术，利用大规模的语言模型从混合的样本中生成逼真的文本样本，并利用语言模型预测的软标签，从大规模语言模型中蒸馏知识并同时创建文本扰动，我们在多元化的分类任务上进行数据增广实验，并展示了该方法远远优于现有的文本增广方法，消融研究和定性分析提供了更多的见解。

Apr, 2021

通过替换、插入和删除等三种扰动方法以及基于上下文的掩码语言模型，在保持核心语义的同时，最大程度地提高目标新闻方面的所需情感分数，并通过波束搜索算法降低情感极性，实现对情感操纵的类别纠正，从而提供更客观的新闻报道并抑制媒体情感语言偏见。

Feb, 2024

本文介绍了一种基于🈚️ground truth summaries 的情况下，利用文档创建合成数据集、引入多种噪声生成函数以及学习生成原始评论的摘要模型的方法，该方法比抽取式和生成式基线模型都有更好的效果。

Apr, 2020