深度学习，文本生成，无监督学习，搜索与学习方法，机器学习模型

Sep, 2023

该研究针对神经网络句子编码器的无监督训练提出了一种新的客观函数，通过利用段落级话语连贯性的信号训练这些模型以理解文本，该目标是纯判别式的，使我们能够比之前的方法更快地训练模型，并且产生在外部评估中表现良好的模型。

Apr, 2017

本研究提出了一种名为 TGLS 的无监督文本生成方法，采用模拟退火算法和条件生成模型相结合，取得了在同类方法中最佳的生成效果。

Jul, 2020

我们提出了一种新方法 UPSA，它利用模拟退火实现无监督的同义词生成。我们将同义词生成建模为一个优化问题，并提出了一个复杂的目标函数，涉及同义词的语义相似性、表达多样性和语言流畅性。然后，UPSA 通过执行一系列局部编辑来朝着这个目标搜索句子空间。我们的方法是无监督的，不需要平行语料库进行训练，因此可以轻松应用于不同的领域。我们在各种基准数据集上评估了我们的方法，即 Quora、Wikianswers、MSCOCO 和 Twitter 等。广泛的结果表明，UPSA 在自动和人工评估方面都实现了与以前的无监督方法相比的最先进性能。此外，我们的方法优于大多数现有的领域自适应监督模型，显示了 UPSA 的通用性。

Sep, 2019

该研究提出了一种无监督的自动句子摘要方法，通过语言建模和语义相似度指标来优化摘要质量，从而在 ROUGE 分数方面达到了新的最高水平，同时强调未来的评估应该按输出长度分组。

May, 2020

本文提出了一种基于短语重构的生成式自监督学习目标，从而在获得上下文化标记级别表示的同时，有效获取句子级别表示，在句子结构的建模上进行了精细的设计，实验结果表明，该方法在语义检索和重排序任务上超越当前最先进的对比方法。

Oct, 2022

基于无监督掩码目标的方法，用高词汇中心性的源文档预测训练神经自动摘要模型，达到准确的新闻文献摘要，评测表明该方法胜过现有的无监督方法，超过最佳监督方法。同时还对不同的词汇中心性衡量标准的影响进行了评估。

Jan, 2022

本文提出了一种新颖的混合非监督学习方法，采用基于规则的方法和预训练的稠密检索器，自动将客观问题转换为主观问题，从而测试学习者的理解程度。实验证明，相对于现有的数据驱动方法，本文的方法可以将召回率和准确率提高 36.45%。

May, 2022

本文介绍了词表示学习的最新方法，通过互信息最大化来统一传统的词嵌入模型和现代上下文嵌入模型。此外，我们提出了一种构建新的自监督任务的框架，并提供了一种简单的自监督目标函数来最大化句子全局表示和 n-gram 之间的互信息。这种方法可以在自然语言处理、计算机视觉和音频处理等多个领域传递知识和推进进展。

Oct, 2019

介绍了一种自适应树搜索算法，用于在翻译模型中寻找高分输出。该算法是一种确定性的 Monte Carlo 树搜索的变体，可以探索不受常规假设约束的新型模型。通过实证研究，该方法在自回归模型中找到的输出与 beam 搜索相比具有更好的模型得分，并表明随着模型的发展，beam 搜索或重新排名方法可能掩盖了进一步的改进。

Feb, 2022