Jun, 2017

将判别学习中的知识转移至生成式视觉对话模型的最佳方法

PDF
TL;DR本文提出一种新的训练神经序列模型，将判别式对话模型的知识传递到生成式对话模型中，通过 Gumbel-Softmax 逼近离散分布，建立了一个可端对端训练的生成式视觉对话模型，并在视觉对话数据集上显著优于现有模型 (10 个问题中有 2.67 个问题得分有所提高)。
neural sequence modelsgrounded dialog generationgenerative visual dialog modelknowledge transfergumbel-softmax
发现论文，激发创造
  • 神经对话生成的分组对比学习

    本研究利用对比学习方法，在已有预训练模型为基础上，训练对话生成模型，提高其多样性和能力以应对开放领域会话问题，并提出一种适用于广泛对话生成模型的群内对比学习框架，实验结果表明该方法在性能上表现优异。

    Sep, 2020

  • 通过自适应推理和加权似然估计的生成式视觉对话系统

    本文提出了一种新的训练方案，结合加权最大似然估计方法，解决视觉对话系统中基于最大似然估计方法学习正例回答而忽略负面回答导致响应过于安全或普遍的问题。此外，作者还设计了自适应多模态推理模块，自动适应不同的对话场景并选择相关信息，实验结果证明了他们的算法在 recall@10 上的优越性。

    Feb, 2019

  • 双人博弈：具有辨别式问题生成和回答的视觉对话

    展示了一个简单对称的辨别性基线，该基线可用于预测答案和问题，其性能与最先进的记忆网络方法相当。此外，首次在视觉对话数据集上评估了提问系统的性能，并展示了如何从辨别式问题生成和问题回答生成视觉对话。

    Mar, 2018

  • 对话必将继续：通过生成自训练来改善视觉对话

    本文提出了一种名为生成自我训练的半监督学习方法，利用网络上的无标注图像生成合成对话并结合原始数据进行对话训练，其中对抗攻击等问题进行对抗性评估，目前实验结果在两种数据集上都取得了最新的最佳表现。

    May, 2022

  • 双重知识增强生成预训练语言模型的多模态对话系统

    本文提出了一个可以双重增强知识的生成式语言模型，用于为多模态任务导向式对话系统生成适当的文本响应。实验证明，该模型优于现有竞争对手。

    Jul, 2022

  • 对话领域适应的混合生成 - 检索 Transformer

    本文提出了基于 GPT-2 微调多领域 MetaLWOz 数据集的混合生成 - 检索模型，具有稳健、多样的响应生成能力，在领域自适应任务中取得了最优结果，并在适应未见过的 MultiWOZ 数据集时表现出竞争力的泛化性能。

    Mar, 2020

  • 生成多模态模型在类增量学习中表现优秀

    我们提出了一种适用于类增量学习的新型生成多模态模型（GMM）框架，通过适应的生成模型直接生成图像的标签，利用文本编码器提取文本特征并使用特征匹配确定最相似的标签作为分类预测结果，在常规类增量学习任务和少样本类增量学习任务中，我们相比目前最先进的方法有了显着的改善。

    Mar, 2024

  • 统一多模态模型结合非可能训练用于视觉对话

    本文提出了一种名为 UniMM-UL 的统一多模态模型，它使用 Unlikelihood Training 方法来探索负样本中使用的有用知识，具有比先前工作更好的生成结果和与最先进技术相媲美的区分结果，并支持视觉对话理解和生成的多任务学习。

    Nov, 2022

  • 透过对抗学习实现有理据的视觉对话生成

    本文提出了一种基于强化学习和生成对抗网络的新方法，结合注意力机制为每个回答生成可解释的理由，从而在保持自然对话的一致性的同时回答正确地回答问题，取得了当前主要基准测试的最先进结果。

    Nov, 2017

  • DLGNet：基于 Transformer 的对话回复生成模型

    本文介绍基于 transformer 模型的 DLGNet，用于多轮对话生成，实验结果显示 DLGNet 显著优于现有模型且在评估指标方面表现最佳，主要因为长程 transformer 模型的结构和注入随机信息填充的组合。

    Jul, 2019