Jan, 2024

研究与读者之间的桥梁：一种多模态自动学术论文解读系统

PDF
TL;DR我们引入了一个开源的多模态自动学术论文解读系统（MMAPIS），通过三个步骤，包括 LLMs 来增强其功能：首先，我们利用混合模态的预处理和对齐模块来提取纯文本、表格或图像；然后根据所属章节的名称对这些信息进行对齐，确保具有相同章节名称的数据被归类到同一节下；接下来，我们采用分层的话语感知摘要方法，利用提取的章节名称将文章分割成较短的文本段落，通过具体提示使用 LLMs 进行节内和节间的摘要；最后，我们设计了四种类型的多样化用户界面，包括论文推荐、多模态问答、音频广播和解释博客，广泛适用于各种场景。我们的定性和定量评估突出了系统的优越性，尤其在科学摘要中，它胜过仅依赖 GPT-4 的解决方案。
automated scientific literature interpretationmulti-modalacademic papersummarizationuser interfaces
发现论文，激发创造
  • mPLUG-PaperOwl: 多模态大型语言模型的科学图解析

    通过强化多模态图表分析能力，我们构建了多模态图表理解数据集 M-Paper 并引入了控制信号‘outline’，通过与先进的多模态语言模型的全面实验，证明了在我们的数据集上进行训练能够展现更强大的科学图表理解性能.

    Nov, 2023

  • 如何弥合模态之间的差距：对多模态大语言模型的全面调查

    本综述论文探讨了多模态大型语言模型（MLLMs），该模型整合了类似于 GPT-4 的大型语言模型（LLMs），用于处理文本和视觉等多模态数据。MLLMs 展示了生成图像叙述和回答基于图像的问题等能力，缩小了人与计算机之间的差距，并暗示了通向人工智能的潜在途径。然而，MLLMs 仍面临处理多模态语义差距的挑战，可能导致错误生成，对社会造成潜在风险。选择适当的模态对齐方法至关重要，因为不恰当的方法可能需要更多参数，并且性能改进有限。该论文旨在探讨 LLMs 的模态对齐方法及其现有能力。实施模态对齐使得 LLMs 能够解决环境问题并提高可访问性。研究调查了 MLLMs 中现有的模态对齐方法，分为四个组：（1）多模态转换器将数据转换为 LLMs 可以理解的格式；（2）多模态感知器改善 LLMs 对不同类型数据的感知能力；（3）工具辅助将数据转换为一种常见格式，通常是文本；以及（4）数据驱动方法教导 LLMs 理解数据集中特定类型的数据。这个领域仍处于探索和试验阶段，我们将组织和更新各种现有的多模态信息对齐研究方法。

    Nov, 2023

  • Uni-SMART: 通用科学多模态分析与研究变换器

    Uni-SMART 是一种创新模型，旨在深入理解多模式科学文献，通过量化评估在多个领域展示了超越文本焦点的大型语言模型的卓越性能，同时探索了专利侵权检测和图表的细致分析等实际应用，凸显了 Uni-SMART 的适应性和革新性。

    Mar, 2024

  • 多模态摘要综述

    本文综述了多模式自动摘要 (MMS) 领域内的现有研究，包括文本、图像、音频和视频等各种模式。除了强调用于 MMS 任务的不同评估指标和数据集之外，我们的工作还讨论了该领域中当前的挑战和未来方向。

    Sep, 2021

  • 多源、多模态、多语种融合：信息提取和摘要的收敛维度

    利用多个来源的强项，提供对复杂话题更全面和详细的理解，从而应对摘要研究面临的挑战。

    Jun, 2024

  • 探索多模式 LLM 与知识密集型多模式 ASR 的潜力

    本文介绍了 Multimodal Scientific ASR（MS-ASR）任务，通过利用幻灯片的视觉信息来提高技术术语的准确性，从而改进科学会议视频的转录质量，提出了基于 Scientific Vision Augmented ASR（SciVASR）框架的方法，并在 GPT-4o 等最新的多模态大型语言模型的评估中显示出 45％的性能改进。

    Jun, 2024

  • 语义阅读器项目: AI 动力交互式阅读界面增强学术文献

    本研究提出通过 AI 和 HCI 技术实现更智能、互动和无障碍的阅读界面，同时介绍 Semantic Reader 项目，它通过自动创建动态阅读界面，提高了学者的阅读体验。

    Mar, 2023

  • X-SCITLDR：学术文献的跨语言极端摘要

    本研究填补了前人研究的空白，提出了一个多语种的学术领域摘要数据集，基于此我们能够训练和评估处理英语论文并生成德语、意大利语、汉语和日语摘要的模型，同时分析了在零样本和少样本情况下训练的性能。

    May, 2022

  • 多模态对人类和机器在翻译和图像字幕中是否有帮助？

    本文介绍了 LIUM 和 CVC 为 WMT16 Multimodal Machine Translation Challenge 开发的系统。我们在单模态数据和多模态数据的基础上，探索了各种比较方法，包括基于短语的系统和使用单模态或多模态数据训练的注意力循环神经网络模型。我们还进行了人类评估，以估计多模态数据对于人机翻译和图像描述生成的实用性。根据自动评估指标 BLEU 和 METEOR，我们的系统在这两个任务中获得了最佳结果。

    May, 2016

  • 用于科学论文自动摘要的俄语多模态数据集

    该论文讨论了创建一个俄语科学论文的多模态数据集，并测试了现有的语言模型在自动文本摘要任务上的表现。该数据集的特点是其多模态数据，包括文本、表格和图形。论文介绍了使用 SBER 的 Gigachat 和 Yandex 的 YandexGPT 两个语言模型的实验结果。数据集包含 420 篇论文，可在此 https URL 上公开获取。

    May, 2024