EMNLPJun, 2016

神经预测的理性化

PDF
TL;DR通过提取文本来生成短而连贯的理由 —— 根据规则确保足以做出准确预测的 —— 以代替不带理由的预测，该方法结合了生成器（分配文本碎片的候选理由）和编码器（用于预测）。从未给予判据，而是让模型符合对规则的要求。本文还在多方面情感分析和问题检索任务中成功验证了此方法。
rationalesmulti-aspect sentiment analysisencodergeneratorattention-based baseline
发现论文，激发创造
  • 理性化是否能提高稳健性？

    本研究探讨了神经 NLP 模型的可解释性和鲁棒性之间的相互作用，试图通过有理化的过程来提高模型的鲁棒性，并针对五个不同的任务进行了实证评估。实验结果表明，理性模型有可能提高其鲁棒性，但它们在某些情况下会面临一定的挑战，并不总是表现得比无人为监督的模型更好。

    Apr, 2022

  • 远程监督下非单调推理的理性化学习

    研究如何使用先前经过训练的语言模型、神经知识模型和相关任务的远程监督等，通过训练生成解释原因的生成模型来推断自然语言解释。然而，结果表明，由于神经语言模型的基本限制，该模型生成的解释仅限于具有普遍性的陈述，而在进行推理的同时预测更新或其类型和生成理由是更具挑战性的，这是未来的重要方向。

    Dec, 2020

  • 基于理据增强卷积神经网络的文本分类

    提出了一种新的卷积神经网络模型，可以在文本分类和理解上进行监督学习，以推断支持文件分类的原因，从而提升分类性能，并且能够自然地为分类结果提供解释。

    May, 2016

  • 分布匹配用于合理化

    本文提出了一种新的合理化方法，它匹配特征空间和输出空间中的权合理和原始输入文本，并在经验上通过大幅优于以前的方法。

    Jun, 2021

  • Few-shot 合理化自我训练：教师解释帮助学生进行 Few-shot NLU

    利用自训练语言模型进行多任务教师 - 学生框架，在有限的任务特定标签和理由下，通过精心选择样本学习信息伪标签示例以及明确合理化预测的特征，显著提高了神经模型的性能，特别在低资源环境中表现出有效性。

    Sep, 2021

  • 探索神经网络模型中的远程标记理由

    本文提出基于两个辅助损失函数的方法，以更好地利用标签合理性远离的关键单词为目标 (PINs)，并缓解非有用合理性的训练的冗余。两项代表性分类任务的实验表明，我们所提出的方法能够使分类模型有效地学习非完美 rationales 中关键的线索，同时保持将焦点扩展到其他重要未标记单词的能力，因此显著优于现有 methods。

    Jun, 2021

  • 序列预测的原理

    该研究提出了一种被称为贪婪合理化的算法，通过求解组合优化问题来找到最佳合理化解释，以解释自然语言处理中序列模型的预测结果。研究表明这种方法比其它现有的基线方法更加优秀，同时在一个新的数据集中，这种方法得到的理性方案与人类理性方案较为相似。

    Sep, 2021

  • 无锁多方面文本分类理性化

    本文提出了一种多阶段培训方法，将自我监督对比损失纳入其中，并证明可以帮助生成更多语义多样的理性化解释，从而改善了啤酒评论数据集的实验结果，并解决了互锁问题。

    May, 2022

  • 非监督式注入噪声选择性理性化

    为了解决深度学习模型输出不可解释的问题，我们提出了一种基于无监督选择性理性化的模型，在理性生成器和预测器上联合训练，有效限制了不合理理由产生，并在电影评论数据集上得到了明显的理性可信度和任务准确性提升。

    May, 2023

  • 神经理性模型的非理性

    通过哲学角度和经验证据，本文提出神经理由模型的合理性和可解释性不如人们预期，并呼吁更加严密和全面的评估以确保达到所需的可解释性特性。

    Oct, 2021