Sep, 2019

利用上下文感知变分自编码器对 If-Then 常识推理的事件背景建模

PDF
TL;DR提出了一个名为 Atomic 的 If-Then 常识推理数据集，结合基于 RNN 的 Seq2Seq 模型进行推理。针对 Seq2Seq 模型的语义相似性问题和理解事件所需的外部知识，提出了一种新的上下文感知变分自编码器来指导推理。实验结果表明，我们的方法相对于基线方法可以提高推理的准确性和多样性。
commonsense reasoningnlpatomicseq2seq modelcontext-aware variational autoencoder
发现论文，激发创造
  • 向量量化变分自编码器结合证据感知推理文本生成

    研究使用自然语言处理技术，提出了一个基于编码器 - 解码器和自动查找语料库中事件证据的半监督方法，提高了生成事件推理性文本的性能。该方法在 Event2Mind 和 ATOMIC 数据集上达到了最先进的水平。

    Jun, 2020

  • Event2Mind：针对事件、意图和反应的常识推理

    研究探讨了一种新的常识推断任务，通过构建新的众包语料库并使用神经编码器 - 解码器模型，成功地分析先前未见过的事件并推断参与者的意图和反应，揭示了现代电影剧本中普遍存在的隐性性别不平等问题。

    May, 2018

  • 具有序列、半监督离散变量的事件表示

    该论文在事件建模和理解的背景下，提出了一种新的神经序列建模方法，该方法考虑了离散的、部分被观察到的外部知识序列。通过构建一个顺序神经变分自编码器，在精心定义的编码器中使用 Gumbel-Softmax 重参数化技术，允许半监督的外部离散知识在训练期间指导但不限制变分潜在参数。实验表明，该方法不仅优于多个基线和叙事脚本归纳的最新技术，而且收敛速度更快。

    Oct, 2020

  • 语言模型可通过少量示例引入推理，从而提高事件预测能力

    本文研究了大型语言模型在实际事件中实现推理的能力，设计了一个建模和预测框架，其中大型语言模型执行推断，以协助事件序列模型提高预测准确性，并通过在 Amazon Review 和 GDELT 两个具有挑战性的实际数据集上进行的广泛实验，展示了我们的框架的性能优势。

    May, 2023

  • 利用外部常识知识增强的事件表示学习

    本论文提出一种利用外部常识知识的方法，增强文本中提取的事件表示的有效性，实验结果表明该方法在事件相关任务中表现良好，如事件相似度计算、脚本事件预测和股票市场预测等方面得到了显著优化。

    Sep, 2019

  • 条件生成有序事件序列

    提出了一个 BART-based 条件生成模型，可以同时处理事件之间的时间排序和事件插入预测。使用延迟自编码器进行训练并证明了在不使用显式标签的情况下，该模型优于 BERT-based 方法和指针网络，并且在事件的时间上更优于 GPT-2 completion 模型。

    Dec, 2020

  • 2019 年 Activitynet 第三项任务：探索视频中复杂事件的背景

    本研究系统地探索了不同的视频字幕模型，提出了五种上下文和两类事件字幕模型，并从准确性和多样性两个角度评估了它们对事件字幕的贡献，该提出的字幕模型被插入到我们的管道系统中，本系统在视频任务的密集字幕事件上取得了最新颖的表现。

    Jul, 2019

  • 对比微调生成式脚本事件预测方法

    本文提出了一种基于事件中心预训练的生成式方法，其使用预先训练的语言模型 Fine-Tune 并通过对序列可能性的预测进行预测，从而软建模事件之间的关联。

    Dec, 2022

  • 基于知识增强的通识常识故事生成预训练模型

    本文针对故事生成中存在的重复、逻辑冲突和长距离一致性缺乏等问题，提出了一种基于知识增强预训练模型的通用故事生成方法。通过利用外部知识库中的常识知识来生成合理的故事，并采用多任务学习的方法来捕捉合理故事中句子之间的因果关系和时间依赖关系，从而在逻辑和整体一致性方面比其他最先进的模型有更好的表现。

    Jan, 2020

  • 多视角的语境常识推理：一个新的数据集和任务

    该论文介绍了一个包含多种类型的文本解释的数据集 CICEROv2，提出了一系列的预训练目标来帮助下游任务。结果表明，该论文中的预训练目标对于预训练模型来说是有效的。

    Oct, 2022