Jun, 2024

GNOME：基于开放领域对话映射的生成式谈判系统

PDF
TL;DR通过使用大型语言模型处理现存的人工标注的闭域数据集，本研究论文提出了一个自动化框架 GNOME，用于生成合成的开域对话进行谈判，从而提高了谈判系统的泛化能力，并减少了手动数据整理的昂贵性和主观性任务。通过实验设置，我们创建了一个基准，将在现有数据集上训练的编码器和解码器模型与通过 GNOME 创建的数据集进行比较。结果显示，我们的数据集上训练的模型不仅在特定领域策略预测方面表现优于先前的最新模型，而且对以前未见过的领域有更好的泛化能力。
language modelsnegotiation capabilitiesclosed-domaingnomegeneralizability
发现论文，激发创造
  • 多领域神经网络语言生成器用于口语对话系统

    本研究提供了一种训练多领域、基于递归神经网络的语言生成器的程序，包含了多个适应步骤，并利用伪造数据和领域内句子的优化目标函数，旨在在新的、看不见的领域内显著减少培训的数据需求，其语料库评估结果和主观测试都表示该程序可以在保证 BLEU 分数和槽误差率竞争力的同时大幅提高语言生成器性能。

    Mar, 2016

  • 使用生成式分层神经网络模型搭建端到端对话系统

    使用生成模型在大型对话语料库上构建开放域对话系统的任务得到了研究，这里我们扩展了分层递归编码器 - 解码器神经网络到对话领域，并证明了该模型与最先进的神经语言模型和后退 n-gram 模型有竞争力，我们进一步探讨了该方法及类似方法的局限性，再展示了如何通过从更大的问答匹配语料库和预训练的词嵌入中引导学习以提高其性能。

    Jul, 2015

  • 探测神经对话模型的对话理解能力

    本研究分析了神经网络开放领域对话系统所学习的内部表示，并评估了这些表示的质量以学习基本的交谈技巧。结果表明，标准的开放领域对话系统难以回答问题、推断矛盾并确定对话话题等任务，需要更多的研究来探讨建筑和训练方法，从而更好地捕捉有关对话的高级信息。

    Jun, 2020

  • 使用下一句预测和互信息在潜空间中评估开放领域对话

    提出一种利用条件变分自编码器和下一句预测目标来处理开放领域对话的评估方法，该方法在潜空间中运用互信息建模以考虑文本语义相似性，实验证明这种学习基方法在处理含有语义不同的多个恰当回复时优于其他模型。

    May, 2023

  • 跨领域变分自然语言生成在口语对话系统中的应用

    本文提出了一种基于条件变分自编码器 (CVAE) 的 RNN 的跨领域自然语言生成方法，实现了高度多样性的句子生成，并在数据有限的情况下展现了更好的性能。

    Dec, 2018

  • 探寻咨询对话：领域知识与大型语言模型

    提出了一个系统的方法，用于检验领域知识和大型语言模型在代表危机辅导员与求助者之间的对话时的表现，结果表明领域知识和语言模型生成的特征能够更好地描述咨询对话。

    Feb, 2024

  • 冻结的大规模模型在多模态任务导向对话中的应用

    使用现有的 LENS Framework 来测试对话系统的多模态任务的可行性，与以往的基于 Transformer 的模型相比，我们的方法在流畅性、有用性以及相关性和连贯性上均有显著提升，同时证明了大规模预训练模型对于多模态任务导向对话系统的有效性。

    Oct, 2023

  • SLIDE: 一个融合小型和大型语言模型的开放领域对话评估框架

    使用 Small and Large Integrated for Dialogue Evaluation（SLIDE）框架，结合小型专门模型（SLM）和大型语言模型（LLMs）来解决开放领域对话系统中的一对多问题和领域特定场景下的性能不佳问题。该方法通过对比学习、语义敏感度度量和结合 SLM 和 LLMs 的评估结果等技术，实现了分类和评估任务的最新性能，并且 SLIDE 评估器与人工判断更好地相关。

    May, 2024

  • 预训练语言模型是否可应用于基础开放领域对话？

    通过使用预训练语言模型，我们尝试研究知识相关对话生成的相关性，发现在使用仅包含少量知识对话的细调过程中，预训练语言模型可以超越需要外部知识的最先进的模型，在自动评估和人类判断方面表现更好。

    Nov, 2020

  • 神经机器翻译的迭代双域自适应

    本文提出一种双重迭代领域自适应框架，通过多层反向翻译知识传输来提高公共领域的翻译知识的提取效果，并通过将这种转移策略应用于多个不同相似度的领域进行了验证。该框架在中英文和英德文翻译任务中取得了令人满意的实验结果。

    Dec, 2019