human label variation | BriefGPT

关键词human label variation

搜索结果 - 7

通过少量解释来近似人类对 NLI 的判断分布：从小处寻找大视角
利用少数专家标签和解释，借助大规模语言模型 (LLM) 近似人类判断分布 (HJD), 从而提供了一种对 HJD 进行标注扩展的解决方案。然而，利用 LLM 生成的判断分布 (MJD) 进行微调时，结果存在部分不一致性，需要同时使用全局级的
PDF11 days ago
VariErr NLI：将注释错误与人类标签变异分离
人类标签变异与注释错误是 NLP 基准测试中普遍存在的问题，现有研究通常将其孤立研究。本论文提出了一种系统的方法和一个新的数据集 VariErr，着重研究英语 NLI 任务中的错误与变异。通过评估各种自动错误检测方法和 GPT 模型在发现错
PDF4 months ago
透过分裂投票的镜头：探索法律案件结果分类中的分歧、难度和校准
法律决策中的分裂投票在处理多样化的法律论点和意见时给律师带来困难。了解人类与 AI 系统之间知觉难度的一致性对于建立信任至关重要。然而，现有的 NLP 校准方法重点关注分类器对预测性能的意识，忽视了人类标签变化的固有性。本文探讨了分裂投票作
PDF5 months ago
EMNLP自然有效的自然语言推理标签变异解释
人类标签差异存在于许多自然语言处理任务中，包括自然语言推理。在研究中，我们建立了 LiveNLI 数据集，通过 1415 个生态有效解释（标注者解释他们选择的 NLI 标签）来获取直接证据，研究了标签差异的产生。结果显示，解释对于理解标签的
PDF9 months ago
EMNLP从不一致到洞察：对案件结果分类中的理据数据集构建进行剖析
法律 NLP 中的案件结果分类不仅需要准确性，还需要可信度和可解释性。我们提出了一个新的数据集 RAVE：欧洲人权法上的理由变异，收集了两位专家在国际人权法领域的评估，发现他们在评估案例事实上存在差异。我们建立了一个两层次的与任务无关的分类
PDF9 months ago
通过解释理解和预测自然语言推理中的人类标签变化
该论文创建了一个包含注解高亮和自由文本解释的生态有效的自然语言推断数据集 --LiveNLI。使用该数据集对思维链进行提示，发现目前 GPT-3 在预测标签分布方面仍有改进的空间
PDFa year ago
EMNLP人类标注变异的 ' 问题 '：关于数据、建模和评估中的基础真相
本文探讨人类标注变异的问题在机器学习中的影响及解决方法，并提供一个包含无聚合标签的公开数据集库以便以后进行研究。
PDF2 years ago