文本摘要的序列级对比学习
提出使用对比学习来减少低质量文摘的可能性，同时增加黄金文摘的可能性，以解决 Encoder-decoder 模型在训练和推理中的偏差问题，并在实验中证明这种方法有效地提高了最先进模型在不同数据集上的性能。
Aug, 2021
本文研究了如何使用基于文本总结的数据扩增方法来构建语言任务的对比样本，从而通过有限的标注数据提高文本表示效果，并配合 Mixsum 正则化方法，实验结果显示所提出的对比学习框架在真实世界的文本分类数据集上表现出很好的效果。
Apr, 2021
通过引入一种叫做对比学习的技术来解决对话总结中信息分散和主题变化的挑战，该方法使用了两个具体的辅助任务 (coherence detection 和 sub-summary generation)，在基于原始对话总结任务上取得了最优性能，显著超过强基准模型。
Sep, 2021
本文提出了一种基于对比学习的重新排序框架 COLO，它可以直接根据摘要级别的分数生成摘要，从而提高 CNN/DailyMail 基准的提取和抽象一阶段系统的结果，并保留参数效率和推断效率。
Sep, 2022
本文提出了一个概念简单但实践强大的抽象摘要框架 SimCLS，通过将文本生成任务转化为无参考质量估计问题（即质量评估），辅之以对比学习，能够弥合目前主导的序列到序列学习框架的学习目标与评估度量之间的差距。实验结果表明，SimCLS 可以在对现有最高分系统进行轻微修改的情况下，大幅改善其性能。在 CNN/DailyMail 数据集上，相对于 BART 的 ROUGE-1 取得了 2.51 的绝对改进和相对于 PEGASUS 的 2.50 的绝对改进，将最新的性能推向了一个新水平。我们已开源我们的代码和结果。同时，我们提出的模型已被部署到 ExplainaBoard 平台上，允许研究人员更细致地了解我们的系统。
Jun, 2021
本研究提出了一种多视角序列到序列模型，其通过提取来自不同视角的非结构化日常聊天中的会话结构来表示会话，然后利用多视角解码器来合并不同视角生成对话摘要，在大规模对话摘要语料库上的实验结果表明，本研究方法在自动评估和人类判断方面均明显优于之前的最新模型。
Oct, 2020
本文提出了一种深度学习方法来解决自动摘要任务，通过将主题信息结合到卷积序列到序列 (ConvS2S) 模型中，并使用自举式非监督序列训练 (SCST) 进行优化。通过联合关注主题和单词级别对齐，我们的方法可以通过有偏的概率生成机制改善生成摘要的一致性、多样性和信息量。与 SCST 类似的强化训练直接根据不可微度量 ROUGE 优化所提出的模型，在推理期间也避免了曝光偏差。我们在 Gigaword、DUC-2004 和 LCSTS 数据集上对最先进的方法进行了实验评估。实证结果证明了我们所提出的抽象摘要方法的优越性。
May, 2018
提出一种基于序列对序列对比学习框架 (SeqCLR) 的视觉表征方法，应用于文本识别，可实现在子单词级别上对比，并进一步建议新颖的数据增广启发式方法、不同的编码器架构和定制投影头来获得对于文本识别而言的有效视觉表征。在手写文本和场景文本上的实验结果表明，与非序列对比方法相比，当训练文本解码器的表征时，我们的方法表现出更好的性能。另外，当减少监督量时，SeqCLR 与有监督的训练相比，明显提高了性能，在 100％的标签下微调后，我们的方法在标准手写文本识别基准上取得了最佳结果。
Dec, 2020