通过实证分析人类解释的两个特点,即最大化理性监督准确性未必是提高模型准确性的最佳目标和人类理性是否提供足够信息以供模型进行预测,我们在此基础上提出了几种新的损失函数和学习策略,在三个包含有人类理性的数据集上进行评估,结果显示出了不断改进的基线,包括 MultiRC 上的 3% 精度提高。我们的研究强调了理解人类解释的特性,并据此进行模型训练的重要性。
Nov, 2021
本文介绍了一种自我训练方法,利用有标记和无标记数据进一步改进少样本模型的效果,并提出了一种新的损失函数 Masked Label Regularization(MLR),以促进解释与预测标签之间的紧密联系。在三个公共数据集上的评估表明,所提出的方法在建模任务标签和生成忠实的解释方面是有效的。
Jun, 2023
研究如何使用先前经过训练的语言模型、神经知识模型和相关任务的远程监督等,通过训练生成解释原因的生成模型来推断自然语言解释。然而,结果表明,由于神经语言模型的基本限制,该模型生成的解释仅限于具有普遍性的陈述,而在进行推理的同时预测更新或其类型和生成理由是更具挑战性的,这是未来的重要方向。
Dec, 2020
通过建立自我激励学习框架,根据正确性的内在排序,依据奖励模型训练并通过强化学习优化推理能力,本研究的实验证据表明其方法显著提升了模型的推理能力,在部分数据集中甚至超过了 text-davinci-002 模型。
Apr, 2024
本论文提出了一种理由精炼推荐模型(RDRec),通过从用户和物品相关的评论中提取精华,为推荐系统提供了理由,从而将大型语言模型(LLM)的推荐性能推向了前沿。
May, 2024
论文提出了使用基于 rationale 的 ensemble 模型来提升自然语言处理任务的性能和可解释性。
Jul, 2022
本研究旨在提出使用人与机器生成数据进行调整范例,以改进视觉语言模型的常识推理与人类意图的一致性,结果发现我们的 ILLLUME 方式可有效改善模型的推理能力,并仅需较少的训练数据以及极少数反馈。
Aug, 2022
我们提出了一种可以推广的分类方法,利用大型语言模型(LLM)来侦测对话中隐含的社会意义。我们设计了一个多方面的提示来提取将可见线索与潜在社会意义相连接的推理的文本解释。这些提取的解释或理由作为对话文本的增强,以促进对话理解和转移。我们在 2340 个实验设置上的实证结果表明,添加这些理由具有显著的积极影响。我们的发现适用于领域内分类、零样本和少样本领域转移,对两个不同语料库涵盖的两个不同的社会意义检测任务也适用。
Jun, 2024
本文提出基于两个辅助损失函数的方法,以更好地利用标签合理性远离的关键单词为目标 (PINs),并缓解非有用合理性的训练的冗余。两项代表性分类任务的实验表明,我们所提出的方法能够使分类模型有效地学习非完美 rationales 中关键的线索,同时保持将焦点扩展到其他重要未标记单词的能力,因此显著优于现有 methods。
Jun, 2021
利用自训练语言模型进行多任务教师 - 学生框架,在有限的任务特定标签和理由下,通过精心选择样本学习信息伪标签示例以及明确合理化预测的特征,显著提高了神经模型的性能,特别在低资源环境中表现出有效性。
Sep, 2021