S3C: 基于自严格学习的半监督 VQA 自然语言解释
为了解决 VQA-NLE 模型在逻辑推理、事实一致性和语义扰动不敏感性等方面存在的问题,我们提出了一种基于自监督多层对比学习的自然语言解释模型 (MCLE),通过提取具有辨别性的特征并将解释的特征空间与视觉问题和答案对齐,生成更一致的解释。我们通过广泛的实验、消融分析和案例研究来证明我们方法的有效性。
Dec, 2023
介绍了一种自我合理化的框架 RExC,旨在提供两种互补类型的解释(NLE 和提取合理),并将其与背景知识结合起来,从而达到了任务最新水平的性能,并大幅度领先于现有模型,同时进行干扰分析表明,解释与预测之间存在高度的关联性。
Jun, 2021
该研究提出了一种基于最先进的 VQA 框架的端到端解释生成模块,通过引入 LSTM 和 Transformer 解码器,生成人类可读的文本解释,同时保持 SOTA VQA 精度。
Nov, 2022
本研究通过自监督学习方式,包括不连贯性识别,插入检测以及问题预测,明确捕捉口语对话文档之间的指代消解和对话连贯性,提高了口语对话的意义和连贯性。在 Spoken-CoQA 数据集上取得了最先进的结果。
Jun, 2021
该研究提出了自我批判的训练目标,通过确定人类视觉 / 文本解释或仅来自问题和答案中的重要单词的具有影响力的图像区域,确保正确答案的视觉解释与竞争答案候选者相比更匹配,以解决 Visual Question Answering 系统在训练数据上捕捉表面统计相关性的问题。应用于 VQA-CP 数据集,使用文本解释获得 49.5%,使用自动注释区域获得 48.5%,在 VQA 泛化任务中达到了最新的技术水平。
May, 2019
利用自训练语言模型进行多任务教师 - 学生框架,在有限的任务特定标签和理由下,通过精心选择样本学习信息伪标签示例以及明确合理化预测的特征,显著提高了神经模型的性能,特别在低资源环境中表现出有效性。
Sep, 2021
通过在部分监督下基于自然语言推理模型对合理性解释模型进行了优化,无需访问真实标签,提高了性能,并实现了与监督提取模型相当的结果和优于无监督方法 100% 以上的性能。
Feb, 2024
使用自然语言序列和突出的注释收集人类的常识推理解释,形成一个名为 CoS-E 的新数据集。利用 CoS-E 训练语言模型,在 Commonsense Auto-Generated Explanation (CAGE) 框架中生成解释,可用于训练和推理。实验结果表明能够有效利用语言模型进行常识推理。
Jun, 2019
通过应用大规模多任务生成 Transformer 模型的最新进展,我们提出了一种新的 VL-NLE 方法,其提供人类更容易理解的解释,并优于当前技术水平。同时,我们还探讨了高质量 NLE 生成的伦理影响和其他最近 VL-NLE 研究中存在的问题。
Dec, 2022
通过建立自我激励学习框架,根据正确性的内在排序,依据奖励模型训练并通过强化学习优化推理能力,本研究的实验证据表明其方法显著提升了模型的推理能力,在部分数据集中甚至超过了 text-davinci-002 模型。
Apr, 2024