Oct, 2022

当前的解码策略是否能够应对视觉对话的挑战？

PDF
TL;DR本文旨在探讨解码策略在视觉对话任务中的表现。通过比较不同的解码策略和超参数配置发现，目前尚未发现能同时满足单词丰富程度、任务准确性和视觉对齐要求的最佳策略，但是本文的深度分析能够提出每种策略的长处和不足，为未来的解码算法设计提供借鉴。
decoding strategiesnatural language generationmultimodal systemsvisual groundingvisual dialogue tasks
发现论文，激发创造
  • 神经文本生成器的解码策略

    该研究对语言生成任务和解码策略之间的相互作用进行了全面分析，测量了生成文本属性随着解码策略和任务的变化情况，并使用人工和自动评估发现了之前观察到的和令人惊讶的结果，如语言生成中的多样性与质量之间的平衡是非常特定于任务的，而模式搜索方法如光束搜索在机器翻译中表现出色，但在故事生成中会导致不连贯和重复的文本。

    Mar, 2022

  • 开放领域对话生成的动态随机解码策略

    作为一个开放领域聊天系统，动态解码策略 (DDS) 可以根据不同上下文来调整解码空间以实现序列水平和令牌水平的自适应搜索，旨在提高预训练对话模型的性能。

    Jun, 2024

  • 目标驱动和视觉对话系统的全流程优化

    本文介绍了一种基于深度强化学习的方法，使用策略梯度算法来优化基于任务且与视觉相关的对话，该方法在通过 Mechanical Turk 收集的 12 万个对话数据集上进行了测试，并提供了鼓舞人心的结果，可以解决生成自然对话和在复杂图像中发现特定对象的问题。

    Mar, 2017

  • 解码策略对生成文本可验证性的影响

    这篇论文探究了最新的预训练语言模型生成的文本是否符合事实世界知识，并发现了在解码策略中存在着可验证性与重复性之间的权衡，提出了一种简单而有效的解码策略，可以生成更少重复且更易验证的文本。

    Nov, 2019

  • 条件语言模型的不同解码方法比较

    调查许多分歧解码策略，在不损失质量的前提下通过过量抽样生成候选序列，并在筛选后从候选列表中生成多样化的结果。

    Jun, 2019

  • 询问无益：决定何时在指称视觉对话中猜测

    本文研究了如何将对话管理器的能力融入端到端的基于视觉的对话代理，通过增加一个决策组件来决定是否询问一个图像中的目标指代，可以减少冗余和不必要的问题，并且可能导致更高效和更自然的交互。

    May, 2018

  • 寻求确认：一种有效且类人的视觉对话策略

    在视觉对话任务中生成面向目标的问题是一个具有挑战性且长期存在的问题。本文提出了一种基于信息搜索和跨情境单词学习的认知文献的启发式模型 Confirm-it 来生成更自然和有效的问题，并在 GuessWhat?! 游戏上进行了案例研究。

    Sep, 2021

  • 超越任务成功：关注同时学习观察、提问和猜测

    本文提出了一种基于视觉支撑和对话系统组件融合的对话状态编码器，并以猜谜游戏 GuessWhat?! 为测试基地。通过多任务学习和协作学习，得出本文方法比基准系统更准确且具备更好的语言技能。

    Sep, 2018

  • 揭示隐藏的关联：针对与视频相关的对话进行迭代跟踪和推理

    对比传统的视觉问答，基于视频的对话需要深入理解对话历史和视频内容以实现准确的响应生成。为了解决现有方法在逐步理解复杂对话历史和融入视频信息方面所面临的挑战，我们提出了一种迭代的跟踪与推理策略，将文本编码器、视觉编码器和生成器相结合。在核心部分，我们的文本编码器具有路径追踪和聚合机制，能够从对话历史中提取对解读提问至关重要的细微差别。同时，我们的视觉编码器采用迭代推理网络，精心设计以从视频中提取和强调关键的视觉标记，增强视觉理解的深度。通过使用预训练的 GPT-2 模型作为响应生成器，将这些丰富的信息整合在一起，生成连贯和与上下文相关的答案。我们在两个有名的数据集上进行的实证评估证实了我们提出设计的实力和适应性。

    Oct, 2023

  • 自然语言生成中的多样性与质量的权衡

    将解码算法视为多目标优化问题，旨在同时最大化回应质量和多样性。当多样性是一个优先考虑的因素时，所有方法表现相似，但当质量被视为更重要时，近期提出的核采样 (nucleus sampling) 优于所有其他评估的解码算法。在这一发现的基础上，我们设计并评估了一种名为 “选择性抽样” 的算法，该算法可以近似全局归一化温度抽样。

    Apr, 2020