本文提出了一种名为 Mixture GAN （MGAN）的新方法，该方法采用多个生成器的混合训练，旨在克服 mode collapsing 问题，通过理论分析得出结论，证明了在平衡状态下，多个生成器的分布和数据分布之间的 Jensen-Shannon 差异最小，生成器之间的 Jensen-Shannon 差异最大，从而有效地避免了 mode collapsing 问题，能够在多项实验中取得明显的优势。

Aug, 2017

本文介绍了一个新的方法，通过扩展自一致性的应用范围并使用轻量级无参数相似函数，改善了大规模预训练语言模型生成的质量和一致性，包括代码生成、自动格式化和文本摘要任务。

Jul, 2023

该研究旨在识别机器生成的文本并对文档中的机器生成部分进行定位，以避免由于对部分新闻文章的机器生成篡改而导致整个文档的误导。通过利用上下文信息，该方法能够在多个句子同时预测其是否为机器生成，从而提高了性能。与之前的研究相比，该方法在 GoodNews、VisualNews、WikiText、Essay 和 WP 五个不同数据集上提高了 4-13% 的平均准确率（mAP）。

Feb, 2024

本文通过指导树遍历过程中使用鉴别器推导所需的限制条件，探讨了如何在解码过程中进一步控制基于 Transformers 的大型语言模型（LM）生成的长文本，从而避免对 LM 进行微调。此方法相对于微调又更易于并且训练代价更小，同时允许更细致、更动态地应用限制条件。在评估了多种搜索和重新排序方案后，表明基于鉴别器引导的 Monte Carlo Tree Search 解码方法可以在两种限制条件和语言（法语和英语）中以最先进的效果，得到多样性鼓励下基于重新排序的其他解码方法相当好的效果。

Sep, 2021

本文介绍了一种利用大型语言模型作为数据增强工具的技术，即利用软提示的混合模型进行参数有效的数据生成，并通过去噪机制提高生成数据的质量，此方法能够在复杂预测任务中实现对标签语义的保留，达到优于强基准的最新结果。

Mar, 2023

我们提出了一种大间隔准则来训练神经语言模型，该模型的训练与最小化困惑度不同，通过增加语句的 “好” 和 “坏” 的间隔以进行特定任务的再评分，实验证明我们的方法在语音识别上可以减少 1.1 WER，在机器翻译中可以增加 1.0 BLEU。

Aug, 2018

本文提出了一种基于闭环迭代一致优化的框架，将不同的预训练模型组合在一起，以零样本方式解决各种多模态问题，该框架通过生成器和评分器的迭代反馈，使模型之间通过沟通逐渐纠正错误，形成一致性，从而显著提高下游任务的性能。

Oct, 2022

使用大型语言模型进行自我评估可以提高生成内容的准确性，并与生成内容的整体质量更好地相关。

Dec, 2023

我们提出了一种测量生成和验证之间一致性的框架，并称之为生成 - 验证器一致性（GV-consistency），发现就连最先进的语言模型 GPT-4 在 76% 的时间内也只有 GV 一致性。为了提高语言模型的一致性，我们提出根据 GV 一致性进行筛选的生成器和验证器响应的精调方法，称为一致性精调。我们发现，这种方法将 Alpaca-30B 的 GV 一致性从 60% 提高到 93%，这种改进还会推广到未见任务和领域（例如，对于正向样式转换的 GV 一致性推广到幽默等未见样式）。除了提高一致性外，在不使用任何标记数据的情况下，一致性精调还提高了生成器质量和验证器准确性。在包括数学问题、知识密集型问答和指示遵循在内的 6 个任务上评估，我们的方法在所有任务上将生成器质量提高了 16%，验证器准确性提高了 6.3%。

Oct, 2023

本研究提出了一种用于控制文本生成的非侵入式、轻量级控制插件，名为 Residual Memory Transformer（RMT），通过与 Causal Language Models（CLMs）合作，采用残余学习范式，实现了更灵活、更通用和更高效的控制生成。通过各种自动和人工评估的广泛实验证明了 RMT 的优越性，证明了我们方法的有效性和多样性。

Sep, 2023