AAAIFeb, 2023

面向对话 AI 的常识推理：现有技术综述

PDF
TL;DR本论文调查了最近关于常识推理的谈话人工智能研究，列出了相关的训练数据集，并描述了在谈话人工智能中包含常识的主要方法，讨论了用于评估谈话人工智能中常识的基准，最后对两个最先进的开放对话模型 BlenderBot3 和 LaMDA 的常识能力进行了初步观察，并对自然交互产生了负面影响，进一步激发了关于常识推理在谈话人工智能中的研究。
conversational aipretrained language modelscommonsense reasoningtraining datasetsbenchmark evaluation
发现论文，激发创造
  • 利用常识知识增强端到端对话系统

    本文研究了将常识知识有效地集成到对话模型中的影响，并在基于检索的情境下提出了 Tri-LSTM 模型，将消息和常识联合起来选择适当的响应，实验证明知识增强模型比无知识模型在自动评估中表现更好。

    Sep, 2017

  • 预训练语言模型在常识知识推理和生成中的应用：综述

    本文调查了预先训练模型在常识推理和生成任务上的表现，探讨了最新研究的优劣势，并提出未来的研究方向。

    Jan, 2022

  • 谈话式神经符号常识推理

    为了能让对话式 AI 系统拥有更自然和广泛的对话，需要更多常识，包括识别对话伙伴的不明说的假设。本研究提出了一个基于神经符号定理证明器的多跳推理链提取方法来理解这类不精确陈述的自然语言命令，并提供一个交互式对话框架来从人类中挖掘常识知识来完善其推理链。

    Jun, 2020

  • 对话人工智能中克服单调常识推理的 ConvoSense

    通过使用 GPT 编译了一个新的合成数据集 ConvoSense，在对话语境中进行常识推理，具有更大的上下文新颖性、更多的推理数量和推理所传达的详细信息丰富，使得针对对话的生成式常识模型在产生合理且具有高新颖性推理时优于之前的数据集训练的模型。据我们所知，ConvoSense 是首个以如此大规模提供如此多新颖推理的数据集。

    Jan, 2024

  • 一种基于预备知识库的常识推理教授预训练模型的初步方法

    通过利用 ConceptNet 中的结构化知识，构造逻辑形式并生成常识性逻辑推理的多项选择题进行训练，我们提出了一种简单而有效的方法来教授预训练模型常识性推理，实验结果表明，这种训练可以使预训练模型在需要常识性推理的任务上表现稳定提升，特别是在少样本学习设置下。

    Sep, 2019

  • 基于常识的对话生成：一个实证研究

    本研究针对 commonsense 在对话回应生成中的作用进行了实证研究，提出了一种新的对话数据集，并利用 ConceptNet 这个 commonsense 知识库，找到并整合了现有的真实对话数据集。通过使用这些数据集训练响应生成模型，该研究提出的自动评估方法显示出一定合理的评价效果。

    Sep, 2021

  • 基于神经常识知识和符号逻辑规则的多跳对话推理

    本文提出了一种用于对话代理的零样本通识推理系统，可以通过基于转换器的生成通识知识库找到用户命令中未明示的假设，同时提出了一种动态问题生成策略来从人类用户中提取缺失的知识，实验表明，相比现有技术，成功率提高了 35%。

    Sep, 2021

  • 心智与机器的交汇：揭密 GPT-4 的认知心理学

    本研究评估了 GPT-4 在常识推理问题上的表现，重点关注 CommonsenseQA 数据集中的问题，发现 GPT-4 的准确性达到 83％，虽然没有达到人类的水平，但是表现出了很好的潜力，可推动人工智能领域的发展。

    Mar, 2023

  • 评估预训练语言模型中的常识

    本研究考察了 GPT、BERT、XLNet 和 RoBERTa 等四个基于预训练语言模型的通感知能力，通过在七个具有挑战性的基准测试中测试他们，在促进模型通感知能力方面，语言建模及其变体是有效的目标，而双向上下文和更大的训练集是额外的加分项。此外，我们发现目前的模型在需要更多必要推理步骤的任务上表现不佳。最后，我们通过制作相关的双重测试用例来测试模型的鲁棒性。有趣的是，模型在这些测试用例上表现混乱，这表明它们只是在表面上学习通感知而不是深层次的知识。我们公开了一个名为 CATs 的测试集，以供未来的研究使用。

    Nov, 2019

  • 常识推理的简单方法

    本文提出一种使用无监督学习、基于语言模型的神经网络常识推理的简单方法，通过对大量未标记数据的训练，优化单选题的得分，获得了很好的测试成绩，没有使用昂贵的注释知识库或手工特征工程。

    Jun, 2018