Sep, 2022

大规模生成常识问题解答阐释模型

PDF
TL;DR在常识问题回答的情境下，我们使用更小的语言模型通过更新 elaboration generator 和 answer predictor 两种语言模型来相互影响，最终取得了比同样规模的其他模型更好的性能，且在四个常识问题回答基准测试中，差距越变越小。
question answeringcommon senseelaborationslanguage modelsperformance improvement
发现论文，激发创造
  • 通过文本生成解释问答模型

    本论文提出了一种模型，通过生成文本提供细节信息，使多选题回答模型更容易理解，并采用多种损失函数来鼓励自然文本输出，从而达到与端到端架构相当的性能水平。

    Apr, 2020

  • 人工智能协作生成自由文本解释的重新构架

    本文探讨利用人类书写的样例以几乎无监督的方式创作自由文本解释的任务，发现高质量的提示有助于提高语言模型的生成效果，同时人类研究表明 GPT-3 生成的解释在某些情况下能够胜过人工生成的解释；作者还结合 GPT-3 与学习自评价的筛选器对生成的解释进行过滤，结果表明这一方法能够实现较高水平的解释过滤。

    Dec, 2021

  • 大型语言模型也是优秀的原型常识推理器

    通过优化任务提示和生成多样化的链式推理和知识，该研究在 ProtoQA 数据集上实现了新的高分，并提供了对大型语言模型的解释，为自然语言处理社区提供了更好的提示开发和更复杂推理任务的潜能探索。

    Sep, 2023

  • 使用小型模型进行非监督自然问答

    本文描述了一个架构，利用原始外部知识，基于无监督学习的技术，使得更小的模型可以回答与事实有关的问题，其目的在于能够显式地添加知识，而无需进行大量的训练。

    Nov, 2019

  • 思考大声说出来：动态上下文生成提高了 GPT-2 零样本推理性能

    通过使用自己生成的问题详述来扩展任务的上下文，动态问题详述可以显著提高 GPT-2 在推理和自然语言理解任务上的零 - shot 性能，该 elaboration 最符合原始问题描述的 elaboration 可以提高精度高达 24%。

    Mar, 2021

  • 使用大型语言模型的否定互补常识

    本文研究了 GPT-3 等较大型语言模型在否定对比问题上的表现。我们提出了一种方法来改善模型在否定对比场景下的表现，该方法胜过了来自 GPT-3 的少样本生成，突出了研究大型语言模型在否定对比问题中响应的重要性。

    Jul, 2023

  • 知识增强的高效医疗问答与问题生成

    通过在医学学科上对小型语言模型进行微调和使用 GPT-4 生成类似下游任务的问题进行微调，我们提出了一种方法来提高医学领域中小型语言模型的熟练度。此外，我们还引入了包含相关问题序列的 “渐进问题” 的 ECN-QA，以展示我们的训练策略的好处。

    May, 2024

  • 基于知识增强的通识常识故事生成预训练模型

    本文针对故事生成中存在的重复、逻辑冲突和长距离一致性缺乏等问题，提出了一种基于知识增强预训练模型的通用故事生成方法。通过利用外部知识库中的常识知识来生成合理的故事，并采用多任务学习的方法来捕捉合理故事中句子之间的因果关系和时间依赖关系，从而在逻辑和整体一致性方面比其他最先进的模型有更好的表现。

    Jan, 2020

  • 评估预训练语言模型中的常识

    本研究考察了 GPT、BERT、XLNet 和 RoBERTa 等四个基于预训练语言模型的通感知能力，通过在七个具有挑战性的基准测试中测试他们，在促进模型通感知能力方面，语言建模及其变体是有效的目标，而双向上下文和更大的训练集是额外的加分项。此外，我们发现目前的模型在需要更多必要推理步骤的任务上表现不佳。最后，我们通过制作相关的双重测试用例来测试模型的鲁棒性。有趣的是，模型在这些测试用例上表现混乱，这表明它们只是在表面上学习通感知而不是深层次的知识。我们公开了一个名为 CATs 的测试集，以供未来的研究使用。

    Nov, 2019

  • 为复杂信息抽取任务微调和对齐问答模型

    使用提取式 QA 模型进行特征提取的方法可改善德语商业文档的信息提取，并通过微调现有德语 QA 模型提高性能，同时还讨论了评估信息提取任务的相关度得分指标。

    Sep, 2023