Apr, 2022

DeBERTaV3 对 CommonsenseQA 的解决方案

PDF
TL;DR本文报告了 DeBERTaV3 在 CommonsenseQA 上的表现。我们使用文本分类方法对 DeBERTaV3 的答案选择问题进行形式化，并利用其自然语言推理能力，在不使用外部知识的情况下，使其单模型和集成模型取得了 CommonsenseQA 上的最新的最佳表现。
debertav3commonsenseqatext classificationnatural language inferencestate-of-the-art
发现论文，激发创造
  • 一种基于 DeBERTa 的新型金融问答模型

    该文介绍了基于 DeBERTa 预训练语言模型的金融问答系统在 FinQA 挑战赛中的应用，通过多模型融合和训练集组合等优化方法，输出准确度达到 68.99，程序准确度达到 64.53，排名第四。

    Jul, 2022

  • SemEval-2020 任务 4 上 CS-NLP 团队对常识推理任务中最先进的自然语言处理深度学习架构的评估

    本文介绍了 SemEval-2020 任务 4：Commonsense Validation and Explanation（ComVE）挑战中的常识推理任务，探讨了几种针对该任务的深度学习方法，并使用多选题式的分类方法来提高模型准确率。研究结果表明，我们的模型在三个子任务中表现良好，并在第二个子任务中获得了很高的排名。同时，我们使用了一种强大的生成模型进行了最后一个子任务的研究，现在还有许多相关的潜在研究方向。

    May, 2020

  • 关于对话式问答的技术报告

    使用 RoBERTa + AT + KD 模型，本文在 CoQA 数据集上进行对话问答，单模型达到 90.4 的 F1 得分，比现有最先进的单模型高 2.6%。

    Sep, 2019

  • VLC-BERT：上下文化通识知识视觉问答

    本研究提出了 VLC-BERT 模型，该模型针对需要常识推理的视觉问答任务，通过使用预训练的 Commonsense Transformer（COMET）模型产生、选择和编码外部常识知识，结合视觉和文本线索，超越了使用静态知识库的现有模型.

    Oct, 2022

  • BERTSel：基于预训练模型的答案选择

    使用预训练模型 BERT 进行微调以提高答案选择任务的性能并在五个数据集上获得 STOA 结果

    May, 2019

  • 基于语义的无监督常识问答方法

    本文提出了一种新颖的基于语义的问题回答方法 (SEQA)，该方法使用生成模型先产生一组可能的答案，然后基于这些可能的答案和问题在语义上的相似性来选择正确的答案。该方法在无监督的情况下，通过对四个基准数据集的实验验证了其有效性和健壮性，并取得了最佳结果。

    May, 2021

  • AmazUtah_NLP 在 SemEval-2024 任务 9 上的工作：一种用于常识违背推理的多项选择题回答系统

    利用综合策略和先进的预训练模型，以及 Sentence 和 Word Puzzle 数据集作为训练数据，并结合幽默 / 笑话和 RiddleSense 数据集进行模型微调，实现了 92.5％的句子拼图子任务准确率和 80.2％的词语拼图子任务准确率。

    May, 2024

  • 让人沮丧地简单的自然问答

    文章研究了问题回答领域（Question Answering）中各种算法模型以及增强数据方法，提出了基于 Attention-over-Attention 等方法的组合以及数据增强和集成策略，可在 SQuAD 等基准数据集上取得超人的表现。但在最新的自然问题基准数据集上，相对简单的 BERT 迁移学习方法取得了超过先前表现最优系统 1.9 F1 点的优异表现，并且添加集成策略进一步提高了 2.3 F1 点。

    Sep, 2019

  • CommonsenseQA：一个针对常识知识的问答挑战

    该论文提出了一个常识问答的新数据集 ——CommonsenseQA，并采用了多个目标概念，旨在提高常识推理的难度，在使用 BERT-large 作为基线方法的情况下，最佳准确率为 56%。

    Nov, 2018

  • 如何通过额外知识来提升自然语言常识问答能力？

    本文提出了将外部常识知识与语言模型相结合的方法，以提高多选题目中常识知识的应用。研究人员采用三种不同的知识插入策略和四种不同的问题 - 回答模型，分析预测结果并探索进一步改进的范围。

    Sep, 2019