该论文介绍了一种基于词嵌入的 query expansion 方法，使用人工神经网络分类器来预测 query expansion 词汇的有用性，实验结果表明该方法显著提高了检索性能。

Nov, 2018

该研究提出了一种短文本匹配框架，使用自我注意机制引入外部知识以增强文本的上下文表示，实验证明该框架的性能优于现有的短文本匹配模型。

Mar, 2022

本文介绍了基于知识拓展的 Prompt-learning 方法来解决短文本分类中的标签扩展问题，并在三个著名数据集上实验，结果比其他方法均取得了显著提高。

Feb, 2022

本文提出了文本扩展（TE）的新任务，旨在插入细粒度修改器到纯文本的适当位置以具象化或使人类写作更生动。通过四种互补方法，我们构建了一份包含 1200 万个自动生成实例和 2000 个人工注释的英文和中文数据集。为了便于自动评估，我们从多个角度设计了各种度量指标，特别是提出了 Info-Gain 来有效度量扩展的信息量，它是 TE 任务中一个重要的质量维度。在基于预训练的文本填充模型的基础上，我们构建了基于流水线和联合定位和填充模型，证明了其在扩展信息量上优于 Text2Text 基线方法。实验证实了 TE 任务的可行性，并指出了未来研究朝着更好的自动文本扩展方向的潜在研究方向。

Sep, 2023

本文提出了一个结合对比学习和外部知识的短文本匹配模型，使用生成模型构建补全句子，利用对比学习方法获得更加语义化的编码，使用关键词与知识库相结合构建知识图谱，通过的实验证明了该模型在两个中文文本匹配数据集上达到了最佳表现。

Apr, 2023

该论文提出一种搜索和学习的方法来解决低语义覆盖率问题，进而提高 data-to-text 生成中预训练语言模型的效率，并在 E2E 和 WikiBio 数据集上实现了高性能。

Dec, 2021

本文介绍了多种扩展序列 - 序列模型的方法，旨在解决从结构化数据中生成流畅自然语言的问题，特别关注潜在内容选择过程的变体，包括复制注意力和覆盖解码。我们提出了一种基于多样集成的训练方法，以鼓励模型在训练过程中学习不同的句子模板，并通过比较其生成的文本在五个自动度量标准和人类评估中的结果，表明这些技术可以提高生成文本的质量。

Oct, 2018

我们提出了用于短文本分类的主题记忆网络，采用新颖的主题记忆机制来编码类别标签的潜在主题表示，实验结果表明，我们的模型在短文本分类方面优于现有模型，并生成连贯的主题。

Sep, 2018

缩写展开是一种通过限制打字量并使用语言模型建议展开来加快沟通的策略。本文研究了基于之前对话进行个性化的大型语言模型（LLM）建议，以增强预测的相关性，尤其是在用户数据较少（~1000 个样本）的情况下。我们比较缩写输入的 fine-tuning，prompt-tuning 和检索增强生成的扩展文本建议。我们的案例研究针对部署的 80 亿参数 LLM 与一个真实的患有 ALS 病的用户以及电影角色个性化方面的实验表明：（1）在某些场景下可能需要定制化，而 prompt-tuning 对这些场景具有很好的泛化能力；（2）在域内数据（仅有 600 个样本）上的 fine-tuning 仍然显示一些收益，然而（3）检索增强的少样本选择也优于 fine-tuning；（4）参数高效调整可以实现高效和可扩展的个性化。对于 prompt-tuning，我们还发现将学习的 “软提示” 初始化为与用户相关的概念标记比随机初始化能够获得更高的准确性。

Dec, 2023

该研究提出了一种将搜索引擎文档扩展为与其内容相关或代表性术语的简单方法，并利用基于 Vanilla 序列到序列模型的数据集对其进行扩展，结合高效的重新排序组件，实现了两种检索任务的最高效结果。

Apr, 2019