Dec, 2022

DePlot: 使用绘图表格转换的一次性视觉语言推理

PDF
TL;DR该论文提出了首个一次学习解决视觉语言推理的解决方案，其利用名为 DePlot 的模态转换模块，将绘图或图表的图像转换为线性化表格，并与大型语言模型结合使用，取得了 24％的进展。
visual language reasoningdeplotfew-shot learningplot-to-text translationlanguage model
发现论文，激发创造
  • SIMPLOT：通过提炼要点增强图表问答

    我们提出了一种名为 SIMPLOT 的方法，该方法能够仅提取图表推理所需的要素，通过对表格进行推理实现准确的图表推理，并解决了最近一种最先进的模型忽略颜色等视觉属性的缺点。

    Feb, 2024

  • MatCha：利用数学推理和图表解渲染增强视觉语言预训练

    MatCha 通过数学推理与图解构造预训练，增强了视觉语言模型的建模能力，成功提高了如 PlotQA 和 ChartQA 等标准基准测试的表现，证实了该方法在更广泛的视觉语言任务上的有效性和可行性。

    Dec, 2022

  • 基于图表的推理：从 LLMs 向 VLMs 的能力转移

    在 VLMs 中，我们提出了一种从 LLMs 转移能力的技术，通过改善图表表示和构建比原始训练集大 20 倍的数据集，合成图表的推理痕迹，最后使用多任务损失对模型进行微调，取得了令人满意的性能。

    Mar, 2024

  • PlotQA: 对科学图形的推理

    为了解决现有合成数据集无法包含现实世界情况和实际中的细节的问题，本研究提出了一个新的数据集 PlotQA，包含了 28.9 百万个问题 - 答案对，针对一些无法容纳在固定字典或图像中的实际问题，设计了一种混合方法的问题回答引擎，在 DVQA 和 PlotQA 上实现了显著的预测准确率提升。

    Sep, 2019

  • 通过跨模态图表对模型进行预训练提升视觉和语言任务中的图表理解能力

    介绍了一种名为 ChartT5 的 V+L 模型，通过对绘图表格对进行跨模态预训练学习，具备了解释图表信息的能力，其采用的两种新颖预训练目标 Masked Header Prediction (MHP) 和 Masked Value Prediction (MVP) 有效提高了模型的表格信息解释能力，在答题和总结图表方面的表现都超过了同类方法 8% 以上。

    May, 2023

  • OneChart：通过一个辅助标记提取纯净的图表结构

    提出了一种可靠的代理 OneChart，用于图表信息的结构提取。通过引入辅助符号和额外的解码器，增强输出的数值部分的可靠性，并采用自我评估机制来衡量结果的可靠性，并在多个公共基准测试中显著优于当前一流的图表结构抽取模型。

    Apr, 2024

  • 逐步合成：用于基于推理的图表 VQA 的工具、模板和 LLMs 作为数据生成器

    通过数据增强和大型语言模型，提升图表问答模型的推理能力，将复杂问题分解为多个逐步推理子问题，并通过外部工具生成最终答案。使用合成数据进行训练，显著提高图表问答模型的准确性，达到了图表问答数据集的最高准确率。

    Mar, 2024

  • 图表转文本：基于 Transformer 模型的自然语言描述生成

    本论文提出了一种基于神经网络的模型来自动生成数据可视化的自然语言摘要，使得即使视力受损的用户也能够获取数据可视化的重要见解。

    Oct, 2020

  • 通过大型语言模型实现自然语言数据可视化：一项探索性研究

    使用大型语言模型进行自然语言到可视化的转换任务，在分析如何将结构化表格数据转化为 LLM 所需的顺序文本提示时，发现将结构化表格数据转化为程序是有效的，并且在制定提示时考虑表格模式是必要的。同时，通过对比实验发现，LLM 在 NL2Vis 任务中优于基线方法，并且推理模型在提供少量示范的情况下通过上下文学习能够进一步改善性能，时而甚至超过微调模型。最后，分析 LLM 在 NL2Vis 任务中失败的情况，并提出了循环更新的策略，通过链式思维、角色扮演和代码解释等方法来迭代更新结果，实验证实了这种迭代更新的有效性，具有广阔的未来研究潜力。

    Apr, 2024

  • 极大预训练语言模型能否通过少量示例学习叙事？

    本文对使用 VLPLMs 和 SOTA 模型在三个不同的数据集上进行的故事生成能力进行了自动和人为评估，结果表明 VLPLMs 生成的故事比其他故事生成模型更高质量，有一定程度上的过人之处，但也揭示了在涉及世界知识的情况下容易 “抄袭” 真实故事的现象。

    Jan, 2023