human annotations | BriefGPT

关键词human annotations

搜索结果 - 13

用大型经验研究代替人类法官？跨 20 个 NLP 评估任务
评估 NLP 模型时，使用 LLM-generated 判断取而代之人为判断的趋势日益增长。我们提供了一个由人工注释的 20 个 NLP 数据集的 JUDGE-BENCH，并对 11 个当前的 LLM 进行全面评估，涵盖公开权重和专有模型，
PDF9 days ago
我们能利用大型语言模型填补相关性评判空缺吗？
利用大型语言模型填补测试集中的空缺，以扩展现有的测试集合，并找出人工注释与自动注释的一致性差异，从而更好地满足人类需求的工作。
PDF2 months ago
COLING预测论证省略判断：以日语为例的案例研究
研究通过对包括日语在内的典型丢格语言的大规模人工标注数据的分析，发现了本地说话者在省略论元时的共同标准和定量特征，并检验了基于语言模型的论元省略判断模型的性能差距。希望本研究能够促进对自然人类省略判断的进一步研究。
PDF3 months ago
D3CODE: 跨文化数据中的冒犯性检测与评估中的差异分析
通过广泛的平行标注来考虑不同社会和文化群体的道德价值观，在跨文化数据集中揭示了标注者感知的区域差异，为构建包容性、具有文化敏感性的自然语言处理模型提供了关键见解。
PDF3 months ago
MTurk 上寻找资格合适的工作者进行摘要分析
通过一个由三个步骤组成的资格认证系统，成功筛选优质的 MTurk 工作者来改善众包平台获取高质量人类标注的困难性，并优化人力资源的使用，本文探讨了此方法的有效性，可作为处理其他繁琐的标注任务的基础。
PDF2 years ago
EMNLP近似负样本区分：给人工评价数据集注入新生命
本文提出了一种名为 Near-Negative Distinction（NND）的新颖和简单的自动评估方法，通过重新利用之前人类注释来建立 NLG 模型的偏好，我们发现 NND 在三个 NLG 任务（问题生成，问题回答和摘要）中取得了比标准
PDF2 years ago
AAAI再审视用于可解释 NLP 的人工标注
通过对可解释 NLP 中两个广泛使用数据集上人类注释行为及其质量进行的实验表明，工作者的资质和注释过程的细节有着显著影响，并且特定的可解释性方法会随着不同指导下获得的 ground truth rationales 而有所不同。因此，研究人
PDF2 years ago
ACLActive Evaluation: 用少量成对比较有效评估自然语言生成 (NLG)
本文介绍了一种名为 Active Evaluation 的框架，它可以通过使用对决式神经网络算法来主动地选择系统对进行比较，从而有效地降低手动注释的数量，并进一步提出了基于模型的对决式神经网络算法，将自动评估指标与人工评估相结合，从而进一步
PDF2 years ago
COLING半监督文本注释的贝叶斯方法
通过贝叶斯深度学习模型和贝叶斯集成方法来指导注释过程，可以提高 BERT 模型的注释和预测性能。
PDF4 years ago
ImageNet 任务是否已完成？
通过重新标注 ImageNet 数据集的验证集，本文发现现有的 ImageNet 分类器的性能提升要小于之前的报道，同时发现原始 ImageNet 标签不再是独立收集集的最佳预测变量，预示其在评估视觉模型方面的用途可能即将结束，但是本文采用
PDF4 years ago
CVPRKeypointNet: 一个大规模的 3D Keypoint 数据集，汇集自众多人类标注
介绍了 KeypointNet：第一个大规模、多样化的 3D 关键点数据集，它包含来自 16 个对象类别的 103,450 个关键点和 8,234 个 3D 模型，通过利用大量的人类注释。为了处理来自不同人员的注释之间的不一致性，通过最小化
PDF4 years ago
基于人类标注错误的建模，为社交流处理设计偏差感知系统
本研究发现，人工注释数据的质量与展示给注释者的数据顺序有着密切关系，通过优化展示顺序和提出一个基于主动学习的算法，可以有效提高在实时社交媒体分析中的数据准确性。此举不仅有利于机器学习算法的提高，也有助于发现人的学习偏差和潜在偏见。
PDF5 years ago
CVPR图像中视觉搜索的难度估计有多困难？
本文提出了一种基于深度特征的回归模型，能够精确预测视觉搜索任务中图像难度，并在弱监督目标定位和半监督目标分类方面表现出不错的性能。
PDF7 years ago