Sep, 2023

D3：面向视觉问答中系统化概括的数据多样性设计

PDF
TL;DR通过研究可视化问答问题，我们发现培训数据多样性对于实现系统化概括至关重要，而简单任务的多样性在实现系统化概括方面起着关键作用。同时，我们观察到神经模块网络利用了我们评估的所有数据多样性形式，而整体架构需要更多的数据来实现相同的效果。这些发现对于理解数据多样性设计、神经网络架构和系统化概括能力之间的相互作用提供了初步的认识。
发现论文，激发创造
  • 属性多样性决定了 VQA 中的系统性差距

    通过研究视觉问答中的系统性差异，我们发现神经网络在泛化到新的熟悉概念组合时的表现差异。尽管训练数据的数量增加并不能减小系统性差距，但训练数据中未见组合的属性多样性可以减小系统性差距。因此，我们的实验证明，在训练过程中看到更多不同的属性类型组合，我们可以期望结果模型更具系统性。

    Nov, 2023

  • 通过模块化和增强改进系统化的泛化能力

    本研究研究了通过模块化和数据增量方法对神经网络在基于自然语言语境的学习中实现系统化综合的影响，并发现具有认知过程至少两个模块的神经网络比非模块基线更容易通过扩充数据实现系统化综合。

    Feb, 2022

  • 系统性概括：所需和可学习性？

    比较了通用模型和模块化模型在系统化泛化方面的不同，发现模块化模型更具系统性，且高度敏感于模块排列方式，还探究了一些方法，结果表明，除了模块化，语言理解的系统泛化可能需要显式的正则化器或先验。

    Nov, 2018

  • 生成式视觉问答

    本研究探讨了一种新的方法来创建先进的视觉问答（VQA）模型，可以在时间泛化上产生成功的结果。通过利用来自 VQAv2 和 MS-COCO 数据集的图像和标题，通过稳定扩散生成新图像。使用这个增强的数据集来测试七个基线和最新的 VQA 模型的组合。该研究的目的是调查几个成功的 VQA 模型的稳健性，评估它们对未来数据分布的性能。分析模型架构，识别改进时间分布偏移下的泛化能力的常见风格选择。这项研究突出了创建大规模未来偏移数据集的重要性，这些数据可以增强 VQA 模型的稳健性，使其未来的同行能够更好地适应时间分布的变化。

    Jul, 2023

  • 重新思考视觉问答中的评估实践：针对分布外泛化的案例研究

    研究大规模多模态数据上预训练的 Vision-and-Language (V&L) 模型在视觉问答 (VQA) 任务中存在代表训练数据的样本分布偏移所造成的 OOD 性能问题，而模型学习的是解决基准测试而不是高层次的技能。本文通过考虑在不同设置下 (如分类和开放性文本生成) 两种预训练的 V&L 模型性能的全面评估，证明生成模型在大多数情况下对数据分布变化不太敏感，并在测试基准中表现更好。另外，我们发现多模态预训练可以提高大多数设置下的 OOD 性能。最后，本文重新审视了自动 VQA 评估度量的假设，并从经验上证明它们的严格性会反复惩罚模型的正确响应。

    May, 2022

  • 神经网络集合中的多样性和泛化

    本文研究了集成技术在机器学习中的广泛应用，特别是在神经网络中多样性的确切角色、如何衡量它以及它如何促进神经网络集成算法的研究。在三种常用的损失函数和两种常用的模型组合策略的基础上，通过神经网络集成进行了实证验证。

    Oct, 2021

  • 系统性归纳的简要调查

    本研究系统地总结了机器学习中的系统化推广方法，并从经典派和联结派等不同角度介绍了其相关信息。我们重点讨论了不同类型的联结派及其如何处理推广问题，并探讨了在语言、视觉和 VQA 等领域中的应用。此外，我们还讨论了相关的变量绑定和因果问题，并简要介绍了最新的研究进展，希望能为未来的研究提供一定的背景和参考。

    Nov, 2022

  • 机器学习中的多样性

    本文对机器学习中的数据、模型和推理多样化进行系统总结，并探讨了多样性技术在其中所面临的挑战和未来工作的方向。

    Jul, 2018

  • 具有领域特定聚合模块的领域泛化

    提出了一种深度结构，通过聚合层策略引入了领域特定的聚合模块，能够在同时利用通用感知信息的情况下保持关于可用源域数据的信息的分离，并在两个不同的基准数据库上进行实验，取得了域泛化的新突破。

    Sep, 2018

  • 元学习中多样性的影响

    研究表明，任务分配在元学习者的表现中起着至关重要的作用。传统的智慧认为，任务多样性应该能够提高元学习的性能。然而，本文发现相反的证据。通过实验证据和理论证明，我们发现，将任务分配的多样性降低到一个子集水平，有时的效果甚至更好，并且将任务分配的多样性提高到更高水平的某些情形下，反而会阻碍模型的运作，并且不会带来预期的性能提升。

    Jan, 2022