领域无关的实值特异性预测
研究表明,可训练的语句规划可生成复杂的信息呈现,并易于个性化定制,且个性化的句子规划器通常比针对人群进行训练和测试的模型表现更好。同时,研究还评估了不同特征集的贡献,并显示在该应用中,n-gram特征通常能达到基于更高级别的语言表示的特征的效果。
Oct, 2011
本研究提出了一种基于神经网络的对话代理方法,通过数据精简和模型训练相结合的方式,使得该代理能够根据输入上下文自动调整回复的具体程度,同时使用增强学习系统从多个生成模型中选择最适合当前输入的模型,从而生成更有趣、更高质量的回复。
Feb, 2017
研究发现,为了适应特定领域的无标签数据,引入进一步的预训练阶段可以带来积极影响,不同的下游任务需要适当的先前任务作为进一步的预训练任务来弥合任务公式差距,并针对多个任务导向的对话下游任务设计各种任务以提高其性能。
Sep, 2021
本文探讨了领域专业化预训练对任务定向对话的影响,并提出了一种领域适配器技术,通过构建和利用专门领域的资源,如DomainCC和DomainReddit来提高模型的任务性能。
Oct, 2021
本文提出了一种高效且通用的基于领域的前缀微调模型,利用领域词初始化前缀模块以减轻领域交错,采用离散提示来引导模型关注对话的关键内容并增强模型的泛化能力。我们在TODSum和QMSum数据集上进行了零-shot实验,并构建了领域自适应基准。充分的实验和定性分析证明了我们方法的有效性。
Apr, 2022
本文研究如何针对不同领域生成相关的回答。通过探讨交错训练、多领域学习和基于域特定频率的加权训练方法,我们提出了一种新的词级别重要性权重度量DF,并通过将其整合到损失函数中,得到了显著的改进。
May, 2022
本文研究了提高生产质量的面向任务的对话系统的设计的困难,提出了使用自然语言的轻量级语义表示——规范形式作为用户意图分类的替代方法,并且展现了规范形式可以很好地泛化到新的、未知的域,在零次或少次样本学习中可以轻易实现,并且可以降低开发新的任务导向的对话域的复杂性和费用。
Nov, 2022
该研究介绍了一种基于GPT-2模型的零-shot通用端到端任务导向对话系统,该系统利用域模式允许对未见过的域进行健壮的泛化,并利用对话历史的有效摘要,实现一般任务完成技能的学习。经过了大量的实验评估SGD和SGD-X数据集,跨越多达20个独特的领域,ZS-ToD在关键度量上优于现有技术,联合目标准确率提高了17%,信息传递提高了5个单位。
Mar, 2023
我们提出了一种用于多领域对话生成的新型数据增强框架AMD2G,它由数据增强过程和两阶段训练方法组成,域无关训练旨在使模型学习共同的表达模式,然后通过域自适应训练来调整学到的域无关特征到目标域。实验证明,与直接在目标域语料上训练和在所有五个域上进行集合训练相比,AMD2G能够在五个不同领域的中文对话数据集上取得更优异的性能。
Jun, 2024