Apr, 2024

面向文本到可视化翻译的鲁棒性对抗词汇和短语变异

PDF
TL;DR研究针对文本到可视化的模型在语义匹配上对输入变化的鲁棒性进行全面分析，发现现有方法对于新的数据集变化，特别是在词汇和短语层面上，表现出不足的鲁棒性。为此，提出了一个新颖的基于 RAG 技术的框架 GRED，通过三个部分解决了自然语言变体、编程风格差异和数据模式变体等挑战，实验证明该模型在鲁棒性方面比目前领先的文本到可视化模型 RGVisNet 有 32% 的精度提升。
text-to-visrobustnesslexical matchingdata schemanatural language variants
发现论文，激发创造
  • 中文自然语言问题的自动数据可视化生成

    数据可视化已成为从大规模数据集中获取洞察力的有效工具。本研究提出了一种中文文本到可视化的数据集，并展示了我们对该问题的首次尝试。我们的模型集成了多语言 BERT 作为编码器，增强了跨语言能力，并将 $n$-gram 信息融入我们的词表示学习中。实验结果表明我们的数据集具有挑战性，并值得进一步研究。

    Sep, 2023

  • 通过大型语言模型实现自然语言数据可视化：一项探索性研究

    使用大型语言模型进行自然语言到可视化的转换任务，在分析如何将结构化表格数据转化为 LLM 所需的顺序文本提示时，发现将结构化表格数据转化为程序是有效的，并且在制定提示时考虑表格模式是必要的。同时，通过对比实验发现，LLM 在 NL2Vis 任务中优于基线方法，并且推理模型在提供少量示范的情况下通过上下文学习能够进一步改善性能，时而甚至超过微调模型。最后，分析 LLM 在 NL2Vis 任务中失败的情况，并提出了循环更新的策略，通过链式思维、角色扮演和代码解释等方法来迭代更新结果，实验证实了这种迭代更新的有效性，具有广阔的未来研究潜力。

    Apr, 2024

  • 从视觉文本表示实现鲁棒性开放词汇翻译

    本文提出了使用视觉文本表示（visual text representations）替代有限的文本嵌入向量（finite set of text embeddings），以建立起使用连续词汇（continuous vocabularies）的翻译模型，以此提高模型的稳健性减少了噪声对模型的影响。实验证明，使用视觉文本表示的模型在小型和大型数据集上实现了与传统文本模型相当或更好的表现。

    Apr, 2021

  • 具有布局感知能力的基于预训练语言模型的视觉丰富文档信息抽取方法

    本文研究信息提取的问题，使用大型预训练语言模型和图神经网络相结合的模型来高效地编码视觉和文本信息，并引入新的微调目标，通过使用大量未标记的领域内数据来改善领域内无监督微调。我们在真实世界的发票和简历数据集上进行了实验，并表明所提出的方法在发票上的绝对 F1 比强文本基线高出 6.3％ ，在简历中 F1 绝对值增加了 4.7％。在少数样本情况下，我们的方法需要比基线少 30 倍的批注数据才能在约 90％的 F1 达到相同的性能水平。

    May, 2020

  • Prompt4Vis: 利用示例挖掘和模式过滤为表格数据可视化的大型语言模型提供提示

    Prompt4Vis 是一种利用大型语言模型和上下文学习来增强从自然语言生成数据可视化查询的性能的新型框架，通过在 NVBench 数据集上进行广泛实验，明显优于最先进的 RGVisNet 约 35.9% 和 71.3%。

    Jan, 2024

  • 将对话系统与数据可视化相结合：从自然语言对话中生成交互式数据可视化

    通过使用对话方式构建数据可视化，本研究提出了一种名为 CoVis 的新任务，并通过使用多模态神经网络 MMCoVisNet 来回答与数据可视化相关的查询，实验证明 MMCoVisNet 优于现有基准并达到了最先进的性能。

    Jul, 2023

  • 面向视觉及语言推理的语义分布式鲁棒优化

    本文提出一种名为 SDRO 的模型无关方法，利用分布式鲁棒优化设置中的一组语言转换，并使用集成技术在推断期间利用这些转换来提高通用性和稳健性。实验表明，该方法可以对视觉和语言模型进行增强，从而在图像（NLVR2）和视频（VIOLIN）上获得性能改善，并展示了对抗性攻击的稳健性。

    Oct, 2021

  • 利用 nvBench 数据集的数据可视化自然语言模型

    我们探索了使用大型语言模型（如 BERT）作为编码器，基于序列到序列变压器的机器学习模型架构，从自然语言查询中预测可视化命令，并应用可用的 T5 序列到序列模型进行比较。

    Oct, 2023

  • 大语言模型时代的数据可视化基准测试：VisEval

    提出了一种名为 VisEval 的新的 NL2VIS 基准，该基准通过引入高质量大规模数据集并倡导综合自动化评估方法，揭示了目前研究中普遍存在的挑战并为未来的进一步发展提供了重要的见解。

    Jul, 2024

  • 遥感图像中鲁棒性视觉问答的多语言增强

    本文提出了一种基于对抗学习的策略，使用增强的数据集来提高遥感视觉问题回答模型的鲁棒性，并在低分辨率数据集上取得良好的表现。

    Apr, 2023