fine-grained evaluation | BriefGPT

关键词fine-grained evaluation

搜索结果 - 9

COLINGCoNLL#: CoNLL-03 英文细粒度错误分析和校正测试集
现代命名实体识别系统在更大更强大的神经模型时代中稳步提高性能。本文通过对最高性能 NER 模型的测试输出进行深入分析，并在测试集上引入新的文档级注释，对其性能进行精细评估。我们通过对错误进行分类，超越 F1 分数，解释 NER 的真实技术水
PDFa month ago
FETV：开放领域文本视频生成的细粒度评估基准
我们提出了 FETV，一个用于细粒度评估文本到视频生成的基准，它基于三个正交方面对提示进行分类，并且是与时间相关的，通过该基准我们对四个代表性的 T2V 模型进行了全面的手动评估，发现现有的自动评估指标与人工评估的相关性较差，并提出了两个新
PDF8 months ago
开放域对话质量评估：从对话轮次评分推导出金块级别得分
通过将对话系统的对话转换为表达与对话行为相关的片段，并借助现有的对话水平评估系统，我们提出了一种评估方法，从而在定位潜在问题所在时能够实现更精细的评估。通过案例研究，我们展示了我们评估方法的潜在有效性。
PDF9 months ago
Thresh: 统一的、可定制和可部署的细粒度文本评估平台
本文介绍了 Thresh，一个统一、可定制、可部署的细粒度评估平台。用户只需创建一个 YAML 配置文件，就可以在几分钟内构建和测试适用于任何框架的注释界面，轻松完成多个 NLP 任务的细粒度评估。
PDFa year ago
掌握复杂问题 ABCD：基于答案的主张分解进行细粒度自我评估
本文介绍了一种针对大型语言模型生成的答案自我评估技术，即 ABCD，该技术通过将复杂问题分解为一系列真假命题来验证模型生成的答案是否满足所有的问题标准，并进行精细化评估，实验证明该技术可以帮助发现模型的错误和知识盲区。
PDFa year ago
ACLInfoMetIC：一种用于无参考图像描述评估的信息度量
该研究提出了一种新的图像字幕评价指标 InfoMetIC，可以对图像字幕的正确性和覆盖性进行精细和粗略级别的评估，表现出比现有指标更好的人工判断相关性，同时还构建了一个基于令牌的评估数据集。
PDFa year ago
KGxBoard: 知识图谱补全模型可解释互动排行榜评估
本篇论文提出了 KGxBoard ：一个交互式框架，用于对 KG 完成模型的个体和可解释能力进行细粒度评估的有意义的子集。通过我们的实验，我们发现使用 KGxBoard 发现的结果是无法通过标准评估指标检测出来的。
PDF2 years ago
EMNLP重新思考中文分词：一个已解决的任务吗？
本文评估了现有中文分词系统，提出了一种细粒度评估方法，并针对多准则学习提出了解决方案，为未来研究方向提供了参考。
PDF4 years ago
ACL超细粒度实体类型化
介绍了一种新的实体类型任务，使用头词来进行大规模远程监督，利用多任务目标训练模型，实现对实体类型的预测，对这一方法进行了实验评估并提供相关数据和模型。
PDF6 years ago