ACLApr, 2018

比较，量词，比例：一种多任务模型用于从视觉中学习数量

PDF
TL;DR本篇研究通过多任务计算模型研究不同量化机制 (集合比较、模糊量化和比例估计) 在视觉场景中是否可以共同学习。研究结果表明，当有低复杂度任务的信息时，高级比例任务的准确度比单独执行的结果更好，且该多任务模型能够推广至未见过的目标 / 非目标对象组合。
发现论文，激发创造
  • 标签效率元学习的多维信念量化

    提出了一种基于优化的元学习方法，其利用新的不确定性感知任务选择模型和多查询任务公式，在进行少样本学习时，能够有效地降低标记成本和计算开销，并且在多个实际应用中进行的实验表明，该模型效果显著。

    Mar, 2022

  • 从视觉中学习基数和量词的含义：精确或模糊

    本研究通过模型的方式研究了视觉场景中的精确基数和自然语言量词的学习及认知机制。结果表明，使用模糊测度的模型在学习量词方面较为有效，而提供了数字信息则更有助于准确基数的学习。

    Feb, 2017

  • 人类和 LLMs 中的视觉对象命名、描述和量化

    当前的视觉与语言大型语言模型（VLLMs）在捕捉人类命名偏好方面的能力存在问 题，尤其在需要高级推理能力的任务中，例如指定量词。

    Mar, 2024

  • Taskology: 任务关系的大规模利用

    本文介绍一种基于一致性损失的计算机视觉多任务联合训练框架，充分利用多任务之间的内在关联性，实现对多个关联任务的同时训练及性能提升，并且减少数据标注的需求，支持无监督学习和模拟数据训练。测试结果表明，该框架在深度 / 法向量预测、语义分割、3D 运动 / 自身运动估计、点云物体跟踪和 3D 检测等任务上，皆有显著提升。

    May, 2020

  • VIPHY：探究 “可见” 的物理常识知识

    本研究使用自动管道方法研究了视觉 - 语言模型在获取 “可见” 物理知识方面的能力，并发现这些模型在物体颜色，大小和空间三个方面的表现与人类存在明显差距。而采用预训练的基线模型 (CapBERT) 可以取得更好的表现。

    Sep, 2022

  • 多视角推理：一种用于数学题的一致性对比学习

    提出了一种多视角一致性对比学习方法，用于数学语义到方程的映射，在多粒度上对两种推理视角进行兼容，提高全局生成和精确推理。

    Oct, 2022

  • 12 合 1：多任务视觉和语言表示学习

    本篇文章通过开发一个大规模、多任务训练体系，研究了不同任务之间的相互关系，提出了一个单一模型，可以在视觉问题回答、基于标题的图像检索、引用表达和多模态验证等四个广泛的任务范畴下，同时取得以往 3 亿多参数内单一任务模型的总和，且性能提高了 2.05 个百分点，并进一步表明，从单一多任务模型微调任务特定模型会进一步提高性能。

    Dec, 2019

  • 利用不确定性来加权损失的多任务学习，用于场景几何和语义

    本文提出了一种基于系统中每个任务的均方差误差的权重的深度学习多任务学习方法，可以同时处理分类和回归任务，并在主管深度估计、语义和实例分割方面展示了比独立训练的模型更好的表现。

    May, 2017

  • 通过跨任务一致性实现鲁棒学习

    通过构建任意任务图的推理路径不变性以及利用跨任务一致性进行学习，可以更准确地预测和更好地泛化到分布之外的输入，并获得称为一致性能量的无监督度量，可作为无监督的置信度量和检测分布之外的输入的指标。

    Jun, 2020

  • 预测或比较：走向可解释的定性推理

    本研究通过将定性关系任务分类成预测和比较两种类型，并采用端到端训练的神经网络模块来模拟这两种推理过程，实验结果在两个问答数据集 QuaRTz 和 QuaRel 上展示了我们方法的有效性和泛化能力，并提供模块的中间输出来使推理过程更容易解释。

    Jun, 2021