CVPRMay, 2021

细节决定一切：视频修复诊断评估基准

PDF
TL;DR本论文提出了一个名为 DEVIL 的基准测试，其包含一个新型数据集和评估方案，用于评估视频修复方法的性能，采样数据集的内容属性，并根据重构，真实性和时间一致性质量对每个采样片段进行评分，能够更深入地分析视频修复方法的失败模式和系统变化。
video inpaintingevaluationdatasetreconstructiontemporal consistency
发现论文，激发创造
  • 量化如何影响多语言 LLMs？

    量化、多语言 LLMs 的性能、语言、评估

    Jul, 2024

  • 星象馆：将文字转换为结构化规划语言的严格基准

    对于自然语言任务描述生成 PDDL 代码的能力，存在评估困难，因此引入了一个基准测试数据集 bench​​markName，包括 132,037 个文本到 PDDL 对，通过对几种语言模型的评估表明了该任务的复杂性。

    Jul, 2024

  • 使用增量机器翻译系统评估自动评估衡量标准

    我们介绍了一个数据集，它包含了在 12 个翻译方向上，在六年时间内每周收集的商业机器翻译。我们假设商业系统会随着时间改进，这使我们能够评估基于对最近翻译的偏好的机器翻译度量标准。我们的研究确认了机器翻译度量研究中的几个之前的发现，并展示了该数据集作为度量评估的测试平台的价值。我们将我们的代码发布在此 https URL

    Jul, 2024

  • 深度感知内窥镜视频修复

    引入了一种新颖的基于深度的内窥镜视频修复 (DAEVI) 框架，通过直接从视觉特征进行深度估计、有效地融合视觉和深度信息以及评估 RGB-D 序列的准确性，实现了比最先进方法 PSNR 提升 2% 和 MSE 降低 6% 的优越性能，进一步定性分析验证了其修复精细细节的能力，突出了将深度信息整合到内窥镜修复中的优势。

    Jul, 2024

  • 改变我的框架：在 r/ChangeMyView 中的现实再构

    通过使用 r/ChangeMyView 社区互动和惯例，本研究构建了一个数据集，以使用转变视角的高价值、社区认可的话语，扩大了转变视角的范围，并细化了数据集，研究了数据集创建和评估方面的挑战。

    Jul, 2024

  • 利用丰富上下文条件扩散模型提升故事可视化一致性

    提出了一种新颖的富上下文条件扩散模型 (RCDMs)，旨在增强故事生成的语义一致性和时间一致性，通过在第一阶段使用先验帧转换扩散模型来预测未知片段的帧语义嵌入，通过在第二阶段将富上下文条件注入图像和特征级别来生成一致的故事。

    Jul, 2024

  • OpenVid-1M：一个用于文本到视频生成的大规模高质量数据集

    T2V 生成在最近受到了很大的关注，然而仍面临两个重要的挑战：缺乏精确的开源高质量数据集，以及未充分利用文本信息。为了解决这些问题，我们介绍了 OpenVid-1M，一个精确的高质量数据集，以及一种能够从视觉标记和文本标记中提取结构信息和语义信息的新型多模态视频扩散变换器（MVDiT）的提议。广泛的实验和消融研究验证了 OpenVid-1M 优于以前数据集的优越性和我们的 MVDiT 的有效性。

    Jul, 2024

  • 高光谱全色融合：关键综述、工具和未来展望

    设计了一个大而多样化的数据集，选择一组最先进的方法并进行比较分析，以解决高光谱全色融合的技术复杂性和评估方法不全面的问题。

    Jul, 2024

  • MIA-Bench: 多模态 LLMs 的更好指令遵循评估

    我们引入了 MIA-Bench，一个新的基准测试，旨在评估多模态大型语言模型在其严格遵循复杂指令方面的能力。通过评估各种最先进的多模态大型语言模型，我们发现性能存在显著差异，突出了指令准确性方面的改进空间。此外，我们创建了额外的训练数据，并探索监督微调来提高模型在严格遵循指令的能力，而不牺牲其他任务的性能。我们希望这个基准测试不仅可用于测量多模态大型语言模型对指令的遵循程度，还能指导未来的多模态大型语言模型训练方法的发展。

    Jul, 2024

  • 一个干草堆的总结：对于长文本 LLMs 和 RAG 系统的挑战

    在长文本任务中，我们提出了一种评估方法，该方法设计了一个合成文本集合来评估语言模型和检索模型的输出质量，并以摘要的形式呈现相关见解和引文。研究结果表明，当前的系统在这种任务上仍存在挑战，并希望未来的系统能够在该任务上取得超越人类的性能。

    Jul, 2024