IJCAIDec, 2017

基于生成对抗模仿学习的多模态叙事

PDF
TL;DR本文提出了一种基于多模态模仿学习生成对抗网络（MIL-GAN）的方法，直接将用户的兴趣建模为各种数据所反映的用户展示故事情节，以此解决了故事情节度量的核心挑战，该方法能够获取用户的隐含意图，并通过用户研究大幅优于现有方法。
event storylinessummarizationstoryline metricmultimodal imitation learninggenerative adversarial networks
发现论文，激发创造
  • 图像引导故事结尾生成的迭代对抗攻击

    本研究提出了一种迭代的对抗攻击方法（Iterative-attack），该方法融合了图像和文本攻击，可以更有效地搜索对抗性的文本和图像，从而提高多模态文本生成模型的对抗鲁棒性。实验结果表明，该方法优于现有的单模态和非迭代多模态攻击方法，这表明可以提高多模态文本生成模型的安全性。

    May, 2023

  • 通过故事讲述栩栩如生的故事：一个富有表达力和流畅的多模式讲故事者

    基于图像流生成合理和生动的故事情节的多模态的人类水平故事生成方法 LLaMS 通过充分利用 LLM 中的常识知识，首先采用序列数据自动增强策略来增强实际内容表达，并利用文本推理架构进行表达性故事生成和预测；其次，我们提出故事插图生成的 SQ-Adapter 模块来保持序列一致性。通过人工评估验证了 LLaMS 提出方法的优越性，与之前的 SOTA 方法相比具有最先进的故事性能，具有 86% 的相关性和 100% 的一致性胜率。此外，还进行了消融实验以验证所提出的序列数据增强和 SQ-Adapter 的有效性。

    Mar, 2024

  • 目标导向的故事生成：用强化学习增强生成式语言模型

    本文介绍了两种自动化技术，基于深度强化学习和奖励塑造来控制计算机生成的故事的情节，其中一种利用 PPO 对现有的基于变压器的语言模型进行微调，以生成既能连续文本又能寻求目标的故事；而另一种从不断展开的故事中提取出一个知识图谱，由含有图形注意力机制的策略网络选择由语言模型生成的一个候选连续行。我们根据自动化指标和人类参与者对连贯性和整体故事质量的排名来报告与基线和消融情况的比较。

    Dec, 2021

  • 多模态对抗仿真学习中的游戏角色生成

    本论文提出了一种用于玩家测试的多重个人策略生成的新型模仿学习方法 —— 多模态生成对抗模仿学习（MultiGAIL），其使用辅助输入参数来学习不同的个人策略，基于生成对抗模仿学习的多重判别器作为奖励模型，通过比较代理和不同专家策略来推断出环境奖励，并根据辅助输入对每个判别器的奖励进行加权。实验分析证明了我们的技术在连续和离散行动空间的两个环境中的有效性。

    Aug, 2023

  • 使用生成对抗网络（GAN）从非结构化演示中进行多模态模仿学习

    本篇论文提出了一种多模态模仿学习框架，能够通过学习技能分段和模仿学习来从未标记和非结构化的示范中分段并模仿技能，从而克服了传统模仿学习方法因要求有结构和隔离示范而限制其可扩展性的问题。广泛的仿真实验证明，我们的方法能够有效地将示范分割成各自的技能，并使用单一的多模态策略学习模仿，实现了多任务执行。

    May, 2017

  • 跨模态规则的信息化视觉叙事

    本研究提出了一种基于跨模态规则挖掘的视觉叙事方法，通过将 CNN 激活和 Word 指数相结合构建多模态交易，并使用关联规则挖掘算法挖掘跨模态规则，充分捕捉实体、属性、行为和事件等相关概念，将其应用于编码器 - 解码器框架中，得到更具可解释性和可扩展性的故事生成模型，在 VIST 数据集上得到了很好的效果。

    Jul, 2019

  • 智能格林童话 —— 基于潜在扩散模型的开放式视觉叙事

    本文提出了一种基于生成模型的 auto-regressive image generator，用于在文本提示和前一个图像的条件下生成连贯的图像序列作为开放式视觉叙事，并介绍了一个名为 StorySalon 的新的数据集构建流程。实验证明，该模型在图像质量、风格一致性、内容一致性和视觉 - 语言对齐等方面具有显著优越性。

    Jun, 2023

  • 对比模仿生成时间序列

    一种结合自回归模型和对抗模型的生成框架，通过训练一个本地的过渡策略和一个全局的能量模型来生成时间序列数据，以模拟其连续行为，并在实证分析中验证其性能。

    Nov, 2023

  • Triple-GAIL: 一种基于生成对抗网络的多模态模仿学习框架

    本文提出了一种名为 Triple-GAIL 的新型多模 GAIL 框架，能够从专家演示和连续生成的经验中学习技能选择和模仿，引入辅助技能选择器进行数据增强，从而更好地适应展示者的多模式行为，并在现实驾驶员轨迹和实时策略游戏数据集上，表现出超越前沿性能的实验结果。

    May, 2020

  • 基于独立短句序列的故事生成

    本论文提出并解决了通过两种文本生成范例 —— 统计机器翻译和深度学习，生成连贯故事的任务。使用两种 SMT 方法和一个深度 RNN 架构，将可变长度的输入描述编码为对应的潜在表示，并解码以生成形式完备的故事总结。在一个公开数据集上，利用常见的机器翻译和总结评估方法证明了所建议方法的有效性。

    Jul, 2017