本文针对任务导向的对话系统中的意图识别和参数标记存在的过度敏感问题，介绍了构建对抗性测试集和采用对抗性训练方法和数据增强来提高模型健壮性的解决方案。实验结果表明，这些技术的组合能显著提高系统的健壮性。

Nov, 2019

本文提出了一个基于较大感兴趣区域的自然语言理解分类验证规范，并讨论了这一任务的挑战。我们观察到，虽然数据几乎可以线性分离，但验证器难以输出正面的结果，并解释了问题和影响。

Jun, 2022

研究口语任务导向对话状态跟踪和基于知识的对话建模，提出使用已有数据集不足的问题，借助 n-best 语音识别假设，改善任务绩效，并说明现有模型在口语数据方面存在不足，研究结果呈现有利于基于语音的任务导向对话系统的基准测试数据集。

Sep, 2021

使用大型语言模型来评估对话理解能力，在输入扰动场景下提高扰动稳健性表现。

Oct, 2023

探讨语言模型对输入扰动的敏感性以及通过不同训练策略来提高模型性能和鲁棒性的方法，通过在 Tabular-NLI 任务中的实例验证了该模型可对抗不同的扰动而不降低准确性。

Nov, 2023

对话摘要任务涉及在保留最显著信息的同时对长对话进行总结。实际生活中的对话经常会出现自然发生的变化（例如，重复、犹豫），现有的对话摘要模型在此类对话上的性能下降。本研究系统地研究了此类变化对最先进的对话摘要模型的影响，使用公开可用数据集。为了模拟真实生活中的变化，我们引入了两种类型的扰动：以错误和语言变化更改单个话语的话语级扰动，以及添加非信息性交流（例如，重复、问候）的对话级扰动。我们沿着一致性、显著性和忠实度三个鲁棒性的维度进行分析，这些维度捕捉了摘要模型性能的不同方面。我们发现，输入变化会影响精调模型和指导模型，而后者更容易受到影响，特别是在对话级扰动方面。我们还通过人工评估验证了我们的发现。最后，我们研究了使用部分扰动数据对精调模型的鲁棒性是否可以提高，并观察到这种方法对于解决当前模型中的鲁棒性挑战不足，因此需要更彻底的研究来找到更好的解决方案。总体而言，我们的工作强调对话摘要中的鲁棒性挑战，并为未来的研究提供了见解。

Nov, 2023

语言理解是一个多方面的认知能力，自然语言处理（NLP）领域几十年来一直致力于计算化建模。最近大型语言模型（LLMs）的出现，使得以生成模型为动力的通用性、任务无关的方法成为主流，这导致了语言任务传统上的划分不再适用，带来了对评估和分析的挑战，同时也加大了对可靠系统的需求。因此，我们主张重新思考 NLP 中任务和模型评估的涵义，并追求对语言的更全面视角，将可靠性放在核心地位。为了实现这一目标，我们回顾了现有的划分式方法，以了解模型功能能力的起源，并提出了多方面评估协议的建议。

Oct, 2023

本研究提出了一种数据增量方法，利用预训练语言模型提高生成话语的变异性和准确性，同时探讨和提出了两种在 SLU 中被忽视的半监督学习情况的解决方案。实证结果表明，我们的方法可以生成合成训练数据，在各种情况下提高了语言理解模型的性能。

Apr, 2020

本文研究了语言理解模块如何影响基于强化学习的任务导向的神经对话系统的性能，结果发现词槽错误对对话系统的整体表现影响较大，实验也说明该对话系统可以通过强化学习学习确认何时以及何种方式实现更好的性能和更高的鲁棒性。

Mar, 2017

使用 LLM（Large Pre-Trained Language Models）评估了在口语任务导向对话中的性能，结果表明 LLMs 默认情况下对口头噪音不够鲁棒，但在正确的口头 TOD 数据集上进行微调 / 训练可以获得更强的性能。

Jan, 2024