KDDJun, 2023

将多模态信号在超复数空间中融合，实现科学文献的极端抽象文本摘要（TL;DR）

PDF
TL;DR本文提供了 mTLDR 数据集和 mTLDRgen 模型，用于实现基于多种输入模态的极端抽象文本摘要。该模型使用双重融合的超复杂 Transformer 和 Wasserstein-Riemann 编码器 Transformer 来在超复杂的潜在几何空间中捕捉不同模态的复杂性，并在 Rouge 衡量标准和人类评估方面优于 20 个 baseline 模型和另一个非科学数据集（How2）
text summarizationmultimodal-inputdatasetencoder-decoder modelhyper-complex transformer
发现论文，激发创造
  • 科学文献的极端概括

    介绍了一种名为 TLDR 生成的新型极端摘要可用于科学论文，需要专家背景知识和对复杂领域特定语言的理解。使用 CATTS，结合标题作为辅助训练信号的 TLDR 生成学习策略，在自动化指标和人工评估下均表现出更好的效果。

    Apr, 2020

  • TLDW: 新闻视频的极端多模态摘要

    介绍了一种新的极端多模式汇总方法（XMSMO），主要采用 HOT-Net 框架实现多模态输入到多模态输出的文本、图像总结，以解决信息过载问题。

    Oct, 2022

  • How2 视频的多模态抽象摘要

    研究了多源建模摘要提取方法在开放领域视频领域的应用。通过构建一个多源的序列 - 序列模型，集成来自视频和音频文字转写的信息，完成了一个流利的文本摘要，并使用 Content F1 评价指标来度量其语义适当性。

    Jun, 2019

  • 用于长视频文本摘要的分层 3D 适配器

    本文研究利用多模态信息对视频进行文本摘要，并探讨利用适配器模块和分层结构高效地将多模态信息并入预训练的文本摘要器，实验表明该方法相对于记忆密集型和完全微调的文本摘要方法具有更好的性能。

    Oct, 2022

  • MAST: 多模态抽象摘要生成与三模态分层注意力

    本文提出了 MAST，一种新的多模态抽象文本摘要模型，它利用来自文本、音频和视频三种模态的信息。MAST 通过让模型更多地关注文本模态来解决从音频模态中提取信息的有用性和挑战，并在 How2 数据集上在多模态语言理解方面以 2.51 分的内容 F1 分数和 1.00 分的 Rouge-L 分数优于目前的基于视频和文本的最佳模型。

    Oct, 2020

  • 多源、多模态、多语种融合：信息提取和摘要的收敛维度

    利用多个来源的强项，提供对复杂话题更全面和详细的理解，从而应对摘要研究面临的挑战。

    Jun, 2024

  • 包含视频的文档的多模式摘要

    本文提出了一种基于文档和相关视频的新型多模态摘要任务，并构建了一个基于 bi-hop attention 和改进的 late fusion 机制的双流摘要模型，旨在同时处理文本和视频摘要。实验结果表明，该模型有利于多模态摘要且优于现有方法，同时构建了一个新的文档和视频数据集作为未来研究的资源。

    Sep, 2020

  • X-SCITLDR：学术文献的跨语言极端摘要

    本研究填补了前人研究的空白，提出了一个多语种的学术领域摘要数据集，基于此我们能够训练和评估处理英语论文并生成德语、意大利语、汉语和日语摘要的模型，同时分析了在零样本和少样本情况下训练的性能。

    May, 2022

  • 大规模多语言多模态摘要数据集

    该研究介绍了目前最大的多语言多模态摘要数据集 (M3LS)，该数据集由超过一百万个来自 BBC 的新闻文章组成，跨越 20 种语言，目标在于 5 个语言根上的多样性。研究者们利用该数据集定义了一项多语言多模态摘要任务，并在多语言环境下使用各种最先进的摘要技术报告了基准分数。

    Feb, 2023

  • 从单文档到多文档摘要生成的神经编码器 - 解码器框架改进

    本研究初步探讨一种新的方法，利用最大边际相关性方法从多文档输入中选择代表性句子，并利用抽象的编码器 - 解码器模型将不同的句子融合成概括性摘要。该适应方法自身鲁棒性良好且不需要训练数据。与自动指标和人工评估员评估的最先进的抽取和抽象方法相比，我们的系统表现出色。

    Aug, 2018