对话系统中的轮寻标记是其重要组成部分之一，本研究提出了一种轻量级方法，可以在与基于预训练语言模型相当或更好的表现的同时，可训练参数量减少了近 10 倍，使其尤其适用于现实世界中的工业场景。

Jan, 2024

本文针对知识图谱问答中不同预训练语言模型的性能对比，基于两个基本框架和三个基准数据集进行了实验和分析，结果表明知识蒸馏和知识增强技术对于知识图谱问答有很大的帮助；同时，该文还测试了 ChatGPT 在零样本知识图谱问答方面的表现，最终发布了相关代码与基准数据集供后续研究使用。

Mar, 2023

这项研究评估了基础模型在心理健康护理问题和回答分类中的效果，并发现预训练语言模型（PLMs）在捕捉语义意义方面具有非常好的结果，对于阿拉伯语的心理健康支持具有很大的潜力。

Jun, 2024

在本研究中，我们研究了无需显式标注的词级槽位注释的情况下，用于识别 Task-oriented Dialogue Systems 中的槽位边界的槽位感知（Slot Induction）任务，并提出利用无监督预训练语言模型（PLM）探测和对比学习机制，结合可从 Task-oriented Dialogue Systems 中获得的句级意图标签信号，从而在两个自然语言理解基准数据集上展现出有效性，同时能够填补与词级监督模型之间的差距。当推广到新兴意图时，我们的槽位感知目标还提供了改进的槽位标签表示，从而提高了槽位填充任务的性能。

Aug, 2023

本文研究了对话问句改写技术，使用了序列到序列模型和预训练语言模型来提高模型的表现，通过在 CANARD 数据集 (内领域) 和 TREC 2019 CAsT 数据集 (外领域) 进行的实验，结果表明 T5 模型在参数更少的情况下表现最好。

Apr, 2020

介绍了 Dr. LLaMA，这是一种通过使用大型语言模型进行生成式数据增强来改善小型语言模型的方法，主要关注医学问答任务和 PubMedQA 数据集。研究表明，LLMs 可以有效地改善和多样化问题 - 答案对，从而在微调后使得规模更小的模型获得更好的领域特定 QA 数据集性能。该研究特别强调了在领域特定的问答任务中使用 LLMS 所面临的挑战，并建议了解决这些限制的潜在研究方向，旨在创建更高效、更有能力的专门应用模型。

May, 2023

在自然语言处理的问答任务中，本文的关键方向是提高表示质量和效率，通过挑战现有的问题 - 答案编码惯例，探索更精细的表示方法，并测试了不同池化方法和知识图谱的集成对于性能的影响，结果显示这些方法在提高内存效率的同时，性能上有较小牺牲，大大增加了吞吐量。

Mar, 2024

我们提出了一种基于大型语言模型（LLM）的插槽填充系统，用于在跨多种工业级应用领域中的会话助手中执行对话状态跟踪。

Jun, 2024

该研究探讨了大型语言模型在具有噪声 ASR 转录的槽位填充中的潜在应用，通过上下文学习和任务特定的微调，提出了专门的提示设计和微调方法来提高大型语言模型在具有噪声 ASR 转录的槽位填充中的鲁棒性。此外，还提出了一种线性化知识注入方案，将动态外部知识整合到大型语言模型中。在 SLURP 上进行了实验，评估了各种大型语言模型的性能，包括 GPT-3.5-turbo、GPT-4、LLaMA-13B 和 Vicuna-13B（v1.1 和 v1.5），以及不同的 ASR 错误率。在有限数据设置中，使用所提出的微调方法和 LKI 方案，LLaMA-13B 相对于强 Flan-T5-base 基线系统实现了绝对 8.3％的 SLU-F1 改进。

Nov, 2023

使用提取式 QA 模型进行特征提取的方法可改善德语商业文档的信息提取，并通过微调现有德语 QA 模型提高性能，同时还讨论了评估信息提取任务的相关度得分指标。

Sep, 2023