- 深度伪造检测中的常识推理
利用人们的常识推理对深度学习伪造进行检测,并通过 DD-VQA 任务扩展,以建模解释图像真伪的原因,提供了一个包含回答和解释的新数据集,并提出了一种基于视觉和语言的 Transformer 框架,用于解释性和跨模态的应用于深度伪造检测领域。
- 使用认知神经符号系统实现高层机器推理
我们提出通过将认知架构与外部神经符号组件相结合,使人工智能系统能够进行高层次推理,讨论生成模型在最近和未来应用中的作用。
- 教科书是你所需的唯一 II: phi-1.5 技术报告
通过对 Transformer-based 语言模型的研究,提出了 phi-1.5—— 一个具有 13 亿参数的模型,其在自然语言任务上的性能与大五倍的模型相当,在更复杂的推理任务上超过了大多数非前沿的模型,同时避免了存在网络数据的问题,并 - 通过推理监督实现可解释的视觉问答
我们提出了一种新的视觉问答架构,通过常识推理作为监督信号来减轻模型在缺乏视觉基础的情况下的性能不足,并通过相似性损失将模型的视觉注意力引导到场景的重要元素,从而提高模型的视觉感知能力和性能。
- EMNLP助产提示:具有递归解释的逻辑一致推理
本文提出了一种名为 Maieutic Prompting 的方法,使用基于树的解释模型从写作不准确的大型语言模型中恢复正确的答案,在三个具有挑战性的基准测试上表现出比最先进的提示方法高达 20%的准确性,并且作为完全无监督的方法,表现出和有 - 伪对数似然在自然语言评分中的应用
本文探讨了使用零射击方式相对于微调方法的优势,并通过实验结果表明其在通用常识推理等二选一任务上表现出色。并且,作者认为此种方法的健壮性应从表征组合性的角度进行解释。
- EMNLP分层推理用于直觉物理:向可验证的常识语言理解迈进
本文介绍了 Tiered Reasoning for Intuitive Physics(TRIP)的概念,这是一种用于解决机器语言理解和推理方面的通用常识推理数据集。作者指出,尽管大型预训练语言模型可以在终端任务上取得高端性能,但是它们在 - EMNLPExplaGraphs:针对结构化常识推理的解释图生成任务
本研究提出一种生成式和结构化的常识推理任务 “ExplaGraphs”,通过判断论点是否支持信仰,并生成一个公共案例加强的非平凡、完整和明确的解释来预测它的态度。我们采用了一种新的 Create-Verify-And-Refine 图形收集 - 神经生成的即时注意力调节
本研究通过分析语言模型在句子级别的注意力模式,发现神经退化可能与注意机制对任务特征的学习不足有关。因此,提出了一种称为‘实时注意力调节’的方法,该方法在推理过程中向注意力计算注入学习先验知识,有效地改善了语言模型生成的文本的流畅性、创造性和 - ACL语言模型和人类对 Winograd Schema 扰动的敏感性
大规模预训练语言模型是最近在 Winograd Schema Challenge 上表现提高的主要驱动力,但我们通过一个新的诊断数据集表明,这些模型对最小程度影响人类理解的 Winograd 例子的语言扰动是敏感的。我们的结果突出了人类和语 - ProtoQA: 一个面向原型常识推理的问答数据集
本文介绍了一个新的问答数据集,用于训练和评估人工智能系统在典型情况下的常识推理能力,数据集采用了家庭智慧问答秀中的问题集合,模型评估使用了生成式评估任务,并在多个基线模型中提出了挑战性的性能评估。结果表明,人类表现仍然超过模型成绩,支持任务 - 通过文本生成解释问答模型
本论文提出了一种模型,通过生成文本提供细节信息,使多选题回答模型更容易理解,并采用多种损失函数来鼓励自然文本输出,从而达到与端到端架构相当的性能水平。
- FreeLB: 自然语言理解增强型对抗训练
本文提出了一种新的对抗性训练算法 FreeLB,它通过在单词嵌入中添加对抗性扰动并在不同输入样本周围的区域内最小化结果对抗风险,推广了嵌入空间中的更高不变性。实验证明,这种方法能够提高自然语言理解和常识推理任务中 Transformer 模 - 通过有针对性的常识基础提升神经故事生成
利用多任务学习和辅助训练信号,在创作故事时增强常识推理能力。
- EMNLP通识推理知识狩猎框架
本文介绍了一个自动系统,通过知识搜寻模块从网络上获取证据,利用搜索引擎返回的结果进行知识抽取和分类,对 Winograd Schema Challenge (WSC) 等常识推理任务进行求解,相比最佳方法提高了 0.21 的 F1 值,在 - ICML神经对话模型
通过序列到序列框架,一种简单的端到端的对话模型方法被提出,在特定的领域和大规模通用领域的数据集上表现出很好的对话效果,并可用于执行常识推理任务。
- 不要只听,动动脑筋:利用视觉常识解决非视觉任务
该论文探讨了图像中的视觉常识如何有助于文本任务,包括填空和视觉改写,并提出基于视觉的场景做为辅助实现对这些问题的回答,该方法表现优于基于文字的方案。