Mar, 2023

在统一的视觉语言模型中发现和解决跨任务不一致性

PDF
TL;DR本论文旨在解决多任务模型在不同输出模态中的一致性问题，通过引入 COCOCON 基准数据集和使用一种基于排名相关性的辅助目标来衡量模型在多任务中的一致性，旨在提高模型的一致性，同时保持模型原有的精度。
consistencyai modelsbenchmark datasetcococonmulti-task
发现论文，激发创造
  • 通过跨任务一致性实现鲁棒学习

    通过构建任意任务图的推理路径不变性以及利用跨任务一致性进行学习，可以更准确地预测和更好地泛化到分布之外的输入，并获得称为一致性能量的无监督度量，可作为无监督的置信度量和检测分布之外的输入的指标。

    Jun, 2020

  • 对比多任务密集预测

    本文提出了一种基于特征对比一致性的多任务对比正则化方法，以解决多任务密集预测的跨任务交互建模问题，并在两个数据集上进行了大量实验，展示了该方法在密集预测方面的优越表现，创立了新的最先进性能。

    Jul, 2023

  • 主动学习多任务一致性

    本文提出了一种新的基于一致性约束的多任务主动学习策略，旨在选择对目标检测和语义分割都具有信息量的样本，实验证明该方法在 nuImages 和 A9 数据集上性能优于现有方法。

    Jun, 2023

  • 为对称分类任务减少预训练模型中的不一致性保持平衡

    该研究使用一种一致性损失函数来解决在 NLP 领域中模型对称分类的不一致性问题，并在对称和非对称的六个数据集上测试并验证该方法。

    Mar, 2022

  • 统一输入输出：视觉、语言和多模态任务的统一模型

    Unified-IO 是一种模型，它可以执行各种人工智能任务，包括传统的计算机视觉任务、视觉与语言任务和自然语言处理任务，通过将每个任务的异构输入和输出转换为离散词汇令其有共同的表示方式，从而实现使用一个单一的基于 transformer 的架构，针对视觉和语言领域的 90 多个不同数据集联合训练，其能够在诸如 NYUv2-Depth、ImageNet、VQA2.0 等 16 个不同基准测试中产生强大的结果，这是第一个不需要针对特定任务进行微调即可执行所有 7 个 GRIT 基准任务的模型。

    Jun, 2022

  • CoVLR：协调跨模态一致性和内部模态结构的视觉语言检索

    本论文提出了一种名为 Coordinated Vision Language Retrieval (CoVLR) 的新方法，利用 meta-optimization 来协调交叉模态对齐和单模态群集维护，从而同时确保交叉模态一致性和单模态结构，实验结果表明 CoVLR 方法能够提高单模态检索准确性，同时保留跨模态检索能力。

    Apr, 2023

  • 冰山之尖外：文本分类器的连贯性评估

    通过一种新的预测一致性评估框架来评估大规模预训练语言模型的能力，该框架可以快速、有效地提供对机器预测一致性的见解。

    Sep, 2021

  • 揭开大型视觉语言模型的一致性之纱

    通过多模态基准测试工具 ConBench，本研究首次揭示了大型视觉和语言模型在解决方案空间不同的提示下的答案一致性问题，并通过基于触发器的诊断优化方法，间接提高了模型的性能，以增强其描述能力。

    May, 2024

  • 平衡画面：利用合成对比集去偏置视觉 - 语言数据集

    通过提出一个新颖的数据处理流程来纠正常用公平度量工具 (Bias@K) 存在偏见且不精确的问题。该流程通过提供一组性别平衡的对比集来扩充 COCO Captions 数据集，我们基于此数据集证明了在多个基于 CLIP 的模型中偏差的存在，表明了性别与图像背景之间毫无意义的相关性。最终，我们基于这些结果证明了我们的方法可以提高 Bias@K 的可靠度，从而对相关社会科学进行更准确的预测。

    May, 2023

  • 一种用于连贯性建模的多任务学习方法

    本研究提出一种层次神经网络模型，通过多任务学习，同时预测文档层次的信息连贯得分和词级别的语法角色，利用两个任务之间的归纳转移，提高模型泛化能力，并在不同任务中达到了新的最优表现。

    Jul, 2019