EMNLPApr, 2021

多语言产品评论中的反事实检测数据集

PDF
TL;DR本文讨论了如何检测评论中的反事实语句所面临的问题，并通过构建包含英语、德语和日语评论的数据集，使用不同的文本表示方法和分类器来训练反事实检测模型，并发现这些模型对于基于线索短语的句子选择引入的选择偏差具有鲁棒性，同时证明对于该问题，使用机器翻译来创建多语言数据表现不佳，说明了该问题的语言特异性，这已经被忽视了。
counterfactual detectionproduct reviewsmultilingual datasettext representation methodsmachine translation
发现论文，激发创造
  • IITK-RSA 参加 SemEval-2020 任务 5：检测反事实

    本文描述了解决 SemEval-2020 任务 5 的努力，该任务涉及检测称为反事实的一类文本表达式并将其分解为其组成部分。

    Jul, 2020

  • 超越英语：针对四种语言情感分析偏差的反事实测试

    通过构建评估语料库，我们针对四种语言进行了性别、种族和移民偏见的对比评估，揭示了预训练模型对系统所引入的偏见，并提出更针对性的缓解策略。

    May, 2023

  • 最大化利用少量反事实增强情感分类鲁棒性

    针对文本分类任务中的模型过度依赖模式数据的问题，本文提出了一种新的解决方案，使用编码向量空间的自动生成机制减少新数据生成的人工成本，只需对原始训练数据的一小部分（例如 1％）进行注释即可获得明显的准确性改进。实验证明，该方法对情感分类有效，并在使用 IMDb 数据进行训练和 Amazon、SemEval 和 Yelp 等其他数据集进行 OOD 测试时，仅添加 1％手动反事实数据即可获得 + 3％的准确性提升，相比于添加 100％的训练样本和其他反事实方法比较，准确性提高了 1.3％。

    Oct, 2022

  • 借助因果推理增强语言理解

    本研究提出了反事实推理模型，在学习少量反事实样本的基础上，通过生成对于每个正面事实样本的代表性反事实样本，并使用回顾模块根据对比反事实和正事实样本来检查模型预测，从而模拟对于困难测试样本的人类反事实思维。该方法在情感分析和自然语言推理方面的广泛实验验证了其有效性。

    Jun, 2021

  • 反事实推理：测试语言模型对假设场景的理解

    通过调查五种预训练语言模型在特殊条件下进行的逆向推理，发现这种逆向推理主要受到基于单词关联的影响，只有 GPT-3 能够展现对语言细微差别的敏感性。

    May, 2023

  • 探究自动生成的反事实数据在情感分析中的有效性

    提出了一种自动产生对立数据的方法，基于此数据增广训练集可以有效提高 NLP 模型的性能。

    Jun, 2021

  • CATfOOD：提升跨领域性能和校准性的反事实增强训练

    使用大型语言模型对小型语言模型进行训练数据增强，在抽取式问答系统中改善模型的领域外性能，并提高模型校准的多样性和精简性。

    Sep, 2023

  • 柔性文本生成用于反事实公平探究

    本文介绍了一种使用大型语言模型生成对抗样本的方法，该方法克服了现有方法的局限性，能够产生复杂的对抗样本，并在 Civil Comments 数据集上比较了各种方法的性能和价值，并展示了其在评估毒性分类器方面的价值。

    Jun, 2022

  • 通过反事实评估减少语言模型中的情感偏见

    本文旨在量化并减少语言模型中表现出的情感偏见，该文分析了在给定的条件下（例如写作提示）和语言模型中，引起生成的文本情感发生变化的敏感属性（例如国家名称，职业，性别）的值变化的影响。我们采用公平机器学习文献中的个体和团体公正度量来量化情感偏见，并证明在两种不同的语料库（新闻文章和维基百科）上训练的大规模模型存在相当高的偏见。我们随后提出使用嵌入和情感预测导出的正则化方法，该方法应用于语言模型的潜在表示。该正则化提高了公正度量，同时保持了可比水平的困惑度和语义相似性。

    Nov, 2019

  • SemEval-2020 任务 5 中的 BUT-FIT：使用深度预训练语言表示模型自动检测虚拟语气陈述

    本论文介绍了 BUT-FIT 在 SemEval-2020 任务 5 中的提交，即对语言中的因果推理进行建模，包括检测逆事实是否存在，以及从文本中提取逆事实的前因后果部分。研究者们针对语言表示模型进行了实验，结果表明 RoBERTa 能够在两个子任务中表现出色。最终，BUT-FIT 在第二个子任务 “逆事实前因后果提取” 中获得了第一名，并在 “逆事实检测” 中排名第二。

    Jul, 2020