subjective tasks | BriefGPT

关键词subjective tasks

搜索结果 - 9

语言模型委员会：以共识的方式对高度主观任务进行基准测试基础模型
通过民主过程提出了一种新的基准框架 —— 语言模型委员会（LMC），用于在高度主观的任务中对大型语言模型进行排名，通过平等参与来制定测试集，通过集体评估响应来产生更可分离、强健且较少偏差的排名。
PDF24 days ago
数据无罪，模型有责：理解主观标注中的噪声与偏差
研究人员提高了对聚合标签的伤害的认识，特别是在自然存在人类标注员之间存在分歧的主观任务中。本文展示了仅仅提供聚合标签的模型在高度分歧的数据实例上表现出较低的置信度。我们认为过去的研究将这些实例视为标注错误，但我们认为高度分歧的文本实例难以学
PDF4 months ago
对话中的推理：通过大型语言模型的模拟解决主观任务
通过对话模拟，我们提出了 RiC (Reasoning in Conversation) 方法，用于解决主观任务，并提供了实验证明 RiC 可以显著改善大型语言模型在此类任务中的表现。
PDF4 months ago
F-Eval: 使用精细评估方法评估基本能力
我们提出了 F-Eval，这是一个双语评估基准，旨在评估大型语言模型的基本能力，包括表达能力、常识和逻辑。我们进行了 13 个先进 LLM 的评估，结果显示我们的评估方法与其他评估者相比具有更高的相关系数和更大的区别，并讨论了不同模型大小、
PDF5 months ago
单输出高斯过程中每个输入的多个输出样本
本文提出了一种广义高斯过程的方法，考虑了来自多个人所提供的输出样本，提高了在主观任务（例如口语评估）中处理输出不确定性的效率。
PDFa year ago
AAAISeedBERT: 从聚合标签中恢复注释器评分分布
使用 SeedBERT 方法从单个标签中恢复注释者评分分布来解决机器学习中的主观性问题，并且在下游主观任务中与其他模型相比表现出显着的性能提升。
PDF2 years ago
处理意见不合：超越主观标注中的多数派投票
通过研究多注释者模型的功效，我们的多任务方法将预测每个注释者的判断作为单独的子任务并共享任务的共同学习表示来解决注释者间的不一致性问题，并且表明这种方法比在训练之前聚合标签的方法在七个不同的二元分类任务中产生了相同或更好的性能。此外，在我们
PDF3 years ago
ICML无标准数据情况下的众包研究 -- 案例分析
本文研究了在线辅导平台上对话的困扰个体的情绪估计的主观评估任务，探讨了聚合评估者选择的策略，展示了一个简单的投票共识与优化聚合方法在这个任务中同样有效，并设计了一种机器学习算法来执行相同的任务。有趣的是，我们观察到了一个没有明确建模评估者主
PDF5 years ago
EMNLPConStance: 建模标注上下文以提高立场分类效果
通过研究 Twitter 上的政治立场检测任务，开发了一个名为 ConStance 的模型，该模型可以同时估计金标注签和学习新实例的分类器，并且其学习的分类器在预测政治立场方面的表现比多种基线方法要好，同时该模型的可解释性参数能够阐明每个文
PDF7 years ago