Apr, 2024

Game-MUG：多模态定向游戏情境理解与评论生成数据集

PDF
TL;DR介绍 GAME-MUG，一个包含多模态游戏情境理解和观众参与评论生成数据集的新数据集，以及使用鲁棒性联合多模态双学习模型作为基线的新观众对话增强评论数据集。通过覆盖游戏情境和观众对话的学习，引入时间序列事件日志，检查模型对游戏情境 / 事件的理解能力和评论生成能力，展示多模态方面覆盖和联合集成学习方法的有效性。
esportsmultimodalgame-mugaudience-engaged commentarygame situation
发现论文，激发创造
  • MUGEN: 视频 - 音频 - 文本多模态理解和生成的游乐场

    本文介绍了通过引入音频和新的交互方式收集大量视频和相关音频的大型视频 - 音频 - 文本数据集 MUGEN，并展示了其在多模态理解和生成任务中的潜在应用。

    Apr, 2022

  • 3M：多模态多任务多教师学习用于游戏事件检测

    该研究提出了一种新型的多模信息游戏事件检测框架，旨在构建一个综合框架，增强对进行中游戏情况的理解。实验证明了所提出的多模信息多教师框架的有效性。

    Jun, 2024

  • 大规模数据集上的电子竞技数据即时解说生成

    本研究提出了一项从结构化数据记录中生成游戏评论的任务，利用一种大规模的电子竞技数据集和多种基线编码器 - 解码器模型以及一种层次模型来生成各个层面的比赛评论，结果表明层次模型优势明显，并且揭示了几个新任务带来的挑战。

    Dec, 2022

  • 利用多模态机器学习评估在线游戏技能的研究：以 CS:GO 为例

    在线流媒体对游戏技能进行评估是一个重要任务，以帮助发现有才华的玩家，该研究通过清理数据集和提出多模态机器学习模型的变体来解决这一问题，同时发现了模型容易识别用户而不是学习有意义的表示的问题。

    Jul, 2023

  • MUG: 通用会议理解和生成基准

    本研究旨在促进口语处理技术的发展，建立了一个大规模的 MUG 基准以对广泛的 SLP 任务的性能进行基准测试，包括主题细分、主题和会议层面的摘要和主题标题生成、关键短语提取和行动项检测。

    Mar, 2023

  • 知识图谱支持的篮球基准测试和视频字幕

    提出了一个用于视频字幕的新的多模态篮球知识支持基准，通过构建多模态篮球比赛知识图谱，将视频中的时间信息编码并推荐识别关键球员，以提升篮球直播字幕的质量。

    Jan, 2024

  • LiveChat: 从视听多模态环境生成视频评论

    通过创建大规模的音视频多模式对话数据集，以促进直播评论技术的发展，我们还提出了一种能够生成与视频中的时空事件以及正在进行的多模式对话上下文相吻合的实时评论的新颖多模式生成模型。

    Oct, 2023

  • 基于游戏的视频上下文对话

    本文介绍了基于现场足球比赛视频和 Twitch.tv 聊天记录的多说话者、视觉语境下的对话数据集，利用此数据集开发出具有多模态对话技能和视觉定位应用的对话模型，并通过多项评估指标和人类评估研究验证其效果。

    Sep, 2018

  • MUG: 用户界面上的交互式多模态基础

    针对多模态界面对话交互中的语言歧义问题，本文提出了一种新的交互式任务 MUG，并构建了一个包含 77820 组人类用户和智能 Agent 交互的实验数据集，通过离线和在线策略进行评估，实验结果表明允许迭代式交互可以显著提高任务完成率。

    Sep, 2022

  • 多模态交互专家混合

    多模态机器学习在理解图像和描述性文本之间的关系方面取得了重要进展，但这仅仅是潜在多模态交互的一部分，在预测讽刺等新交互中未包括新的冲突话语和手势之间的交互。本文通过一种称为 MMOE 的新方法解决了这个问题，该方法通过每种具体交互类型使用专门的模型，自动对无标记的多模态数据点进行分类，改进了具有挑战性的交互的性能，并为数据集分析提供了新的方法，取得了最先进的性能提升。

    Nov, 2023