提出一种在测试时使用少量无标签数据进行模型适应以应对分布偏移的方法，通过利用预训练模型和源域的相关信息从有限数据中提取领域知识，并通过建立知识库、领域特定提示生成器、引导模块、领域感知对比损失和元学习等技术实现领域知识的提取。在多个基准测试中验证了该方法，表明该方法在领域知识提取方面优于之前的工作。

May, 2024

提出了一种无监督的、跨领域的关键词生成模型，由 seq2seq 模型、phraseness 模块和 informativeness 模块组成，在多个基准数据集上均获得了明显优于现有无监督模型的最佳结果。

Jun, 2023

本篇论文探讨了如何利用半监督学习方法，在有限的有标签数据下，将无标签数据与有标签数据结合来提高关键短语生成的性能，实现多任务学习，通过无监督关键短语抽取方法或自学习算法得到的合成关键短语为无标签数据进行标注。实验结果表明，利用半监督学习的方法能够明显优于仅训练有标签数据的最先进模型。

Aug, 2018

本文提出一种使用预训练和迁移学习处理数据生成文本任务的方法，该方法包括知识驱动的预训练模型和针对各种任务生成文本的微调模型，其在少样本情况下性能优异，验证了其强大的泛化能力。

Oct, 2020

单域广义目标检测提高模型泛化能力，只使用来自单一源域的数据进行训练。本文提出了一种基于短语定位的风格转移方法（PGST）来实现此任务。通过定义文本提示并利用已有模型学习目标域的风格，并将源域的视觉特征转移到目标域。最终，我们使用这些风格转移的视觉特征对模型进行微调，使其在只使用单一源域进行训练的情况下能够有效地适用于未见过的目标域。实验证明，我们的方法在五个不同的天气驾驶基准数据集上取得了最先进的性能，甚至超过了一些将目标域图像纳入训练过程的领域自适应方法。源代码和预训练模型将会提供。

Feb, 2024

本篇论文提出一种无需领域注释数据的多领域机器翻译模型，包括骨干模型、领域鉴别器和一组专家。通过阶段式训练策略并结合聚类和多分类任务建模领域差异以及采用 Gumbel-Max 采样进行专家训练，该模型在德语到英语翻译任务中取得了较好的效果。

May, 2023

本研究旨在展示使用 seq2seq 语言模型 BART，在一个简单的训练过程中能够轻松地从文本中生成关键词短语，并在五个基准测试中获得与现有最先进 KPG 系统一样好的实证结果，同时也拥有简单易部署的框架。

Jan, 2022

通过对模型选择和解码策略的系统分析，本文提出 DeSel 算法，通过对 5 个数据集进行评估，平均提高 4.7% 的语义 F1 得分，为基于预训练语言模型的关键词生成（KPG）领域的深入研究奠定了基础。

Oct, 2023

传统的关键词预测方法无法满足用户和相关应用的多样需求，本文引入按需关键词生成，提出 MetaKP 基准和监督、非监督方法，通过大型语言模型的自一致性提示方法，在 NLP 基础设施中改进关键词生成性能，并在社交媒体上的疫情事件检测中展示了其潜力。

Jun, 2024

本文深入研究了基于预训练语言模型（PLMs）的关键短语抽取和生成的设计选择及其表现，发现在领域内使用类 BERT 的 PLMs 可以用于构建强大且数据有效的关键短语生成模型。而在固定参数预算的情况下，将模型深度优先于模型宽度，将更多的层分配给编码器，能够带来更好的编码器 - 解码器模型的表现。同时，在引入四个领域内的 PLMs 后，本文在新闻领域中实现了有竞争力的表现，在科学领域中实现了最先进的表现。

Dec, 2022