AAAIJan, 2021

DOC2PPT: 科学文献自动生成演示文稿

PDF
TL;DR文档导出幻灯片是一项困难的多模态推理任务，我们提出了一种新颖的基于层次序列 - 序列算法的方法，在文档摘要、图像和文本检索、幻灯片结构和布局预测等方面具有较高的性能。
document-to-slide generationsummarizationimage retrievallayout predictionsequence-to-sequence approach
发现论文，激发创造
  • 基于查询的文本摘要生成文档幻灯片

    本文提出了一个名为 SciDuet 的新数据集，其中包括最近年份 NLP 和 ML 会议上的文献和其对应的幻灯片，同时介绍了一个名为 D2S 的新系统，该系统采用两步法来处理文档到幻灯片的任务，评估表明长型问答在 ROUGE 自动度量和人工评估方面优于基线摘要。

    May, 2021

  • 通过多阶段端到端方法增强 LLMs 的演示文稿生成

    提出了一种多阶段的端到端模型，结合了 LLM 和 VLM，用于从文档中生成演示幻灯片，相比于现有的方法具有更好的自动指标和人类评估。

    Jun, 2024

  • 图神经网络与语言模型相遇：用于具有归属属性的文档转化为演示文稿

    自动从长文档的文本中生成演示文稿是一个具有挑战性和有用的问题。我们提出了一种基于图神经网络和语言模型组合的方法，通过学习输入文档的图形并为每张幻灯片分配内容，生成具备更好的非线性叙述性的演示文稿，并与直接使用语言模型的方法进行了实验证明我们方法的优点。

    May, 2024

  • 多模式讲座演示文稿数据集：理解教育幻灯片中的多模式性

    介绍了一个为了测试机器学习模型在多模态教育内容理解方面表现的新的数据集 ——Multimodal Lecture Presentations 数据集，并且提出了两个任务 —— 解释和说明教育内容，其中前者实现语音识别，后者实现视觉内容合成。介绍了一个名为 PolyViLT 的多模态变形器，该模型采用多个实例学习方法比现有方法更有效，同时指出了在多模态教育表现方面的挑战和机遇。

    Aug, 2022

  • TalkSumm: 基于学术会议演讲的科学论文摘要数据集和可扩展标注方法

    本文提出了一种利用科学会议上的演讲视频自动生成科技论文摘要的新方法，通过收集 1716 篇论文及其对应的视频，并创建了一个摘要数据集，最终模型在该数据集上的表现与手动摘要数据集上的模型相当，并通过人工专家验证了自动生成摘要的质量。

    Jun, 2019

  • 科学论文摘要的监督式提取方法

    本文介绍了一种新的数据集，用于总结计算机科学出版物，展示了利用神经句子编码和传统的总结功能来开发模型的方式，并表明即使在传统的科学领域中，对句子的编码以及他们的本地和全局背景进行编码的模型也有很好的性能，并实现了明显优于已经建立的基准方法的结果。

    Jun, 2017

  • 学习强调：选择演示文稿中强调内容的数据集和模型

    本研究借助一份新的数据集研究了演示文稿中强调词的选择，并结合基于共享任务的多位研究者的结果，评估了一系列最先进的模型，提出了不同的分析组件。

    Jan, 2021

  • 基于知识的文档模板视图

    使用一个 LLM-powered 方法从输入文档中提取最重要的信息并以结构化格式表示，然后生成多个模板视图，无需监督或很少的指导，提高生成文档的质量，并引入了统一的评估方法，该方法不受模板的影响，可适应多样的下游应用。

    Jan, 2024

  • 自动文档草图：从类似文本生成草稿

    本文介绍了一种新的任务：文档素描，该任务涉及为作者生成完整的草稿文件以供查看和修订，并介绍了基于维基百科的类似文件的数据集，以及弱监督方法（包括基于变压器的专家混合体和强化学习）的应用。通过自动化和人工评估方法对实验进行了报告，并讨论了这些模型的相对优点。

    Jun, 2021

  • 数据文档生成的挑战

    研究采用新颖的数据生成文本的方式，对当前的文本生成方法进行了探究，并通过提出一系列抽取性评估方法和使用当前神经生成方法得到基线结果。实验结果表明，这些模型产生流畅的文本，但未能令人信服地近似人类生成的文档，甚至模板化的基线方法在某些指标上超过了这些神经模型，尽管复制和重构扩展会导致明显的改进。

    Jul, 2017