提出一种基于神经不确定性量化器（NUQ）的层次化变分框架，并利用深度贝叶斯图模型，从而准确地预测视频的未来帧，同时可以权衡 MSE 丢失，从而比现有的模型更有效地训练，提高生成视频的质量和多样性。

Oct, 2021

在本文中，我们针对视觉 - 语言人工智能系统提出了关于不确定性的分类法，区分了由于信息缺乏而产生的认识不确定性和由于固有不可预测性而产生的因果不确定性，并进一步探讨了更加精细的分类。基于这个分类法，我们构建了一个对比性数据集 CertainlyUncertain，其中包含 178K 个视觉问答样本，通过对图像进行修复使原本可以回答的问题变为不可回答，并利用图像标题来引发大型语言模型回答可回答和不可回答的问题。此外，我们引入了一项新的指标 —— 置信加权准确率，它与准确率和校准误差都具有很好的相关性，以解决现有指标的不足之处。

Jul, 2024

本文提出了一种可扩展的视频问答技术，利用自动生成的大量候选问题 - 答案对并使用自适应学习方法以处理其中存在的非理想数据，取得了优于基线模型的效果。

Nov, 2016

本文介绍了一种新的多项选择视频问题回答（Video QA）的训练方案，其中包括自监督预训练阶段和监督对比学习的辅助学习。在自监督预训练阶段中，我们将原始问题格式进行了转化，以预测相关问题并提供模型更广泛的背景输入。然后，我们在对比学习的主阶段中添加了屏蔽噪声，并通过将正样本映射到受掩输入来改进模型表现。最后，我们采用了本地对齐注意力来更有效地关注相关字幕句子的视频帧。我们的实验结果表明，我们的模型在相关测试集上均取得了最先进的性能，并通过进一步的分析验证了我们的方法。

Sep, 2020

提出了一种利用置信度量化的方式评估视觉 - 语言模型，研究发现模型的不确定性与准确性存在相关性。

Feb, 2024

这篇研究提出了一种方法，通过基于梯度的确定性估计来解决视觉问答任务，进一步利用这些估计来获得可视化的注意力图，从而提高深度学习模型的确定性估计和解释能力，并在各项标准基准测试中提供实证分析及与现有方法的比较

Jan, 2020

本研究针对深度学习模型的解释提出了一种方法，通过梯度获取与误分类样本更相关的确信度估计和提供视觉注意力图，特别是在视觉问答任务中，该方法采用现代概率深度学习方法，并进一步通过这些估计梯度进行改进，得到具有人类注意区域相关性的先进的注意力图，从而提供了更好的解释能力。我们在所有标准基准测试上提供了详细的实证分析和与现有方法的比较。

Aug, 2019

我们提出了一种自动化的大语言模型（LLM）转换方法，可以产生能够在每个预测中估计不确定性的具有不确定性感知能力的 LLM。我们的方法与模型和数据无关，计算效率高，不依赖外部模型或系统。我们在选择性问答环境下评估了转换模型，即尽可能回答问题同时保持给定的准确性，在必要时放弃提供预测。作为我们结果的一部分，我们在 SQuAD 抽取式问答任务和 TruthfulQA 生成式问答任务上测试了 BERT 和 Llama 2 模型变体。我们表明，使用我们方法提供的不确定性估计有选择性地回答问题，可以显著提高准确性，相比直接使用模型概率。

Nov, 2023

展示了 YTCommentQA 数据集，该数据集包含了 YouTube 上自然生成的问题，按照其可回答性和回答所需的模态进行分类，实验结果突出了在视频推理中视觉和脚本信息的综合作用。

Jan, 2024

本论文提出了一种不确定性增强的强鲁棒性视频活动预测框架，通过生成不确定性值来表示预测结果的可信度，并利用该值来调整预测目标活动的分布。同时，通过将活动的演化和语义关系结合，构建了合理的目标活动标签表示。此外，通过比较样本对和它们的时间长度之间的不确定性，将不确定性量化为相对值，提供了一种更可行的不确定性建模方法。实验结果表明，提出的框架在多个基准数据集上取得了有希望的性能和更好的鲁棒性 / 可解释性。

Apr, 2024