test set | BriefGPT - AI 论文速递

关键词test set

搜索结果 - 12

视频帧插值基准测试
我们提出了一个基准测试，通过利用计算它们的提交网站建立一致的误差度量，通过分析插值质量与各种像素属性（如运动幅度）的关系来提供见解，并通过利用合成数据坚持线性假设来设计精心设计的测试集，并以一致的方式评估计算效率。
PDF3 months ago
VSR 模型是否具有 LRS3 之外的泛化能力？
通过创建名为 WildVSR 的新的视觉语音识别测试集，评估和分析现有的视觉语音识别模型对新测试数据的泛化能力，并发现相比于 LRS3 结果，公开可用的视觉语音识别模型在我们的测试集上表现明显下降，提示模型在无监督、更具挑战性的口型序列上泛
PDF7 months ago
多标签时序网络对结肠镜检查视频进行语义解析
本研究提出了一种用于结肠镜视频的自动语义分析方法，包括使用新型 DL 多标签时间分割模型在监督和无监督环境下进行训练，通过对 300 多个带标注的结肠镜视频测试集进行评估，并使用消融研究来探索各种方法组件的相对重要性。
PDFa year ago
ACLTeCS：机器翻译时态一致性的数据集和基准
本研究介绍了一种包含 552 个法语 - 英语表述的平行时态测试集，以及相应的时态预测准确度基准，研究者可以通过测试集和基准第一次测量机器翻译系统的时态一致性表现。
PDFa year ago
D2O：一个新的用于物体分类的测试数据集
该论文引入了一个新的测试集 D2O，该测试集可以帮助评估模型和衡量计算机视觉和人工智能中的进展，同时缓解现有测试集的一些问题，例如偏见和模型性能被低估等。D2O 测试集由生成图像和网络爬取图像混合而成，没有预备的训练集，旨在重视泛化能力，可
PDFa year ago
有限状态机模型作为有向图进行测试用例生成的测试覆盖准则概述
本研究总结了 14 个最常用的有向图定义的有限状态机测试覆盖标准及其同义词，并对其进行了比较，以帮助测试工程师建立软件或物联网系统测试策略。
PDF2 years ago
EMNLP评估同声传译数据上的同时机器翻译表现
该研究旨在证明同时机器翻译系统应该使用实际口译数据进行训练和测试，对使用离线翻译数据进行训练的同时机器翻译系统进行评估，结果表明使用口译数据评估时，BLEU 分数可提高多达 13.83，提出了一种将离线翻译转换为口译风格数据的解决方法，并建
PDF3 years ago
分布式泛化：一种新的泛化类型
我们引入了一种新的泛化概念 ——Distributional Generalization，旨在研究分类器在训练和测试时的输出在 * 分布上 * 的相似性，本文给出了与此相关的形式上的猜想并提供了跨多个领域的实证证据。
PDF4 years ago
EMNLP评估迷雾：双语词典归纳的误导性基准
研究跨语言词嵌入的双语词典归纳的任务，发现现有数据集存在的困扰性问题：（1）数据中有 1/4 的专有名词，难以反映 BDI 表现，（2）黄金标准数据存在普遍间隔，对个体语言之间交叉嵌入系统排名和性能差异的总体度的影响，提出未来的研究要么避免
PDF5 years ago
ACL评测性别中性代词的翻译性别偏见
本研究提出了一种用于评估机器翻译系统性别偏见的测试集方案，并构建了一组既不带有偏见性别也不过度偏向一侧的词组，然后通过该方案评估了传统机器翻译系统的性别偏见。
PDF5 years ago
AAAI基于准确语料库的开放信息提取的跨度模型
本文提出了一种新的 Open IE 算法，采用跨度模型替代传统序列标注法通过对训练数据和测试数据进行改进和优化，实现了在基准测试数据集中的最新最佳表现。
PDF5 years ago
KDD有限标记资源下的分类器风险评估
该研究提出了基于分层取样的策略来选取测试集的子集进行标注，以尽可能准确地估计分类器的性能，相对于简单随机取样，这些策略可以显著减少分类器精度估计中方差的误差，并且在有限标注资源下比随机取样需要更少的样本来估计分类器的准确性，有些情况下减少的
PDF8 years ago