annotation artifacts | BriefGPT

关键词annotation artifacts

搜索结果 - 10

ACLCHARP: 基于知识驱动的对话系统的会话历史意识探测
在此研究中，我们深入研究了一个受关注的知识驱动对话基准基础上诚实性，FaithDial，我们发现 FaithDial 数据包含相当多的注释错误，可能导致模型完全忽略对话历史。因此，我们引入了 CHARP，一个用于改进对话模型中幻觉评估的诊断
PDFa month ago
单句阅读者：解决答案位置偏见的新方法
这篇论文探讨了答案位置偏差的概念，其中有大部分训练问题的答案仅位于上下文的第一句。我们提出了一种新的方法来解决机器阅读理解中的答案位置偏差问题，即单句阅读器。我们使用六种不同的模型实现了这种方法，并对它们的性能进行了详细分析。值得注意的是，
PDFa year ago
通过增强自然语言处理数据来应对自然语言推断任务中的注释人为错误
本研究旨在研究 Annotation Artifacts 在大型预先训练的 NLP 模型中的表现，分析其在自然语言推断任务中的限制、通过数据增强技术解决注释工件所引起的偏差，以及评估该方法的有效性。
PDFa year ago
AAAI改进角色感知对话数据集的双重任务框架
本文介绍了一种简单而有效的数据中心方法，用于改善个性化对话代理。通过利用针对两个任务的原始 - 对偶结构（预测对话响应和个人资料之间的联系），我们增强了相关人物角色，以改进对话数据集 / 代理，并修复了基准数据集的注释问题，其巨大地增加了模
PDF2 years ago
ACL结合特征和实例归因来检测伪影
本文提出了一种新的训练特征归因方法，通过结合显著性图和实例归因方法，可以有效地发现训练数据中的人工瑕疵，并在实验中取得了良好的结果。
PDF3 years ago
反事实增强的 SNLI 训练数据不比未增强的数据具有更好的泛化性能
本研究发现，通过常规众包技术建立的反事实数据增强自然语言阅读理解数据集，不利于训练模型的泛化性和鲁棒性，并且在成本考虑上使用此种方法带来的收益很少。
PDF4 years ago
EMNLP文本蕴涵数据收集的新协议和负面结果
该研究提出了四种新的众包协议来收集 NLI 数据集，以改善训练样本的质量和多样性，然而实验结果表明这些新方法在迁移学习的任务中没有优势，但它们可以显著降低注释文本中的问题。
PDF4 years ago
通过对比集评估模型的局部决策边界
提出了一种新的 NLP 注释范例，通过创建对照集，意在消除测试数据中的系统性差距，从而更准确地评估模型的真实语言能力。创建 10 个多样化的 NLP 数据集的对照集并将其作为新的评估基准发布。
PDF4 years ago
ACLR4C: 评估 RC 系统以获得正确答案的基准
该研究介绍了一种新的阅读理解测试方法 R4C，其通过要求 RC 系统能够给出不仅是答案还包括对答案进行解释的推导，解决了当前数据集中的注释偏差和其他偏差可以影响数据集的问题。研究人员使用可靠的众包框架对 RC 数据集进行批量注释，创建并公开
PDF5 years ago
ACL偏输入基准的误导性失败
通过部分输入基线（如 SNLI 的假设模型或 VQA 的问题模型）确定数据集难度并消除注释伪装，但失败并不意味着数据集中没有伪装，因此我们设计了人工数据集，并在 SNLI 数据集中确定了这样的伪装，我们的工作为数据集的验证和创建提供了一个警
PDF5 years ago