Sep, 2022

带有统一编码器的折叠合理化

PDF
TL;DR提出了一种 Folded Rationalization 模型，利用文本语义提取将生成器和预测器相融合，改进了传统的两阶段文本理解模型，实现了更好的预测和选择结果，其 F1 得分比现有最新技术提高了 10.3%。
folded rationalizationtext semantic extractiongeneratorpredictorf1 score
发现论文，激发创造
  • MGR：基于多发生器的合理化

    本文提出了一种新的名为 MGR 的方法来解决文本生成中的两个关键问题 —— 虚假相关性和退化，并通过实验证明，该方法在 F1 分数上超过了现有的最佳方法约 20.9%。

    May, 2023

  • 神经预测的理性化

    通过提取文本来生成短而连贯的理由 —— 根据规则确保足以做出准确预测的 —— 以代替不带理由的预测，该方法结合了生成器（分配文本碎片的候选理由）和编码器（用于预测）。从未给予判据，而是让模型符合对规则的要求。本文还在多方面情感分析和问题检索任务中成功验证了此方法。

    Jun, 2016

  • 只需一次前向传递：在单个前向传递中的预测和合理化

    无监督的理由提取旨在提取简洁而连续的文本片段以支持模型预测，而无需任何已注释的理由。通过使用一种名为 “You Only Forward Once (YOFO)” 的新型单阶段框架，本研究在 BeerAdvocate 和 Hotel Review 数据集上进行实验证明我们的模型在提取理由和进行预测方面比基于 RNP 的模型更准确，与之前最先进的方法相比，在标记级 F1 方面提高了高达 18.4％。同时，我们还对提取的理由和标记衰减策略进行了分析和实验证明 YOFO 可以提取精确而重要的理由，同时删除模型中间部分的不重要的标记。

    Nov, 2023

  • 不对称学习率下的解耦理性：一种灵活的李普希茨约束

    本研究提出了一种名为 DR 的简单而有效的方法来解决协作游戏中出现的退化问题，它可以自然而灵活地约束预测器的 Lipschitz 常数，该方法通过给生成器和预测器分配不对称的学习率来解耦，并在两个常用的基准测试上进行了一系列实验证明了其有效性。

    May, 2023

  • 无锁多方面文本分类理性化

    本文提出了一种多阶段培训方法，将自我监督对比损失纳入其中，并证明可以帮助生成更多语义多样的理性化解释，从而改善了啤酒评论数据集的实验结果，并解决了互锁问题。

    May, 2022

  • 非监督式注入噪声选择性理性化

    为了解决深度学习模型输出不可解释的问题，我们提出了一种基于无监督选择性理性化的模型，在理性生成器和预测器上联合训练，有效限制了不合理理由产生，并在电影评论数据集上得到了明显的理性可信度和任务准确性提升。

    May, 2023

  • 合作理性化交错动力学的理解

    本文研究了合作理性化范式的一个主要问题 —— 模型交互锁定，提出了一种新的理性化框架 A2R，引入了一个被软注意力驱动的预测器，并在两个具有不同输入的预测器之间引入了 generator 来解决这个问题，并在实验中展示了相应的改进。

    Oct, 2021

  • KNIFE: 自由文本理由的知识蒸馏

    通过 KNIFE 方法，我们提出了一种从 FTR（Free-text rationales）带增强的教师 LM（将任务输入和 FTR 一起使用）到仅将任务输入用于推理的学生 LM 中提取 FTR 知识的方法，证明在两个问答数据集上 KNIFE 明显优于现有的 FTR 学习方法，在完全受监督和低资源设置下均表现出色。

    Dec, 2022

  • 序列预测的原理

    该研究提出了一种被称为贪婪合理化的算法，通过求解组合优化问题来找到最佳合理化解释，以解释自然语言处理中序列模型的预测结果。研究表明这种方法比其它现有的基线方法更加优秀，同时在一个新的数据集中，这种方法得到的理性方案与人类理性方案较为相似。

    Sep, 2021

  • 理念的理性化

    提出一种自我解释模型 ConRAT，它从输入文本中提取概念，并使用关键概念的线性聚合来解释结果，以可解释性和预测性能方面超越了最先进的方法。

    May, 2021