本研究提出了一种新的主观视觉属性预测方法，采用统一的健壮排序学习方法，结合局部配对比较标签来检测异常值和学习排序，适用于极度稀疏的标注数据。实验结果表明，该方法在各类基准数据集上表现优异。

Jan, 2015

本文介绍一种新的数据集: LIVE In the Wild Image Quality Challenge Database，旨在解决已有的图片质量数据库由于受控条件下被损坏无法很好地反映真实情况的问题，采集了大量真实环境下采集的图片，并通过在线众包系统进行了大规模的主观评估研究，为盲目的图像质量评估算法提供基础研究和深入分析。

Nov, 2015

本试验的目的是研究在模型与人类在图像年龄预测任务中表现相似情况下，给人类提供好的模型预测解释是否会提高人类预测的准确度，而不好的解释会降低人类对模型的信任。研究发现，给人类提供模型预测能提高人类准确度，但图像解释并不能改变人类对模型的准确度或信任的显著差异。这一发现表明有必要对后续的决策任务进行更全面的解释评估，为用户提供基于设计的解释工具，并思考更好的生成解释的方法。

Jul, 2020

通过引入一个偏差放大的训练集和一个反偏袒的测试集来评估模型的性能，我们提出为了开发对这些偏差具有稳健性的模型，应该将数据集的偏差放大。实验表明，这种评估体系对模型来说比原始的数据拆分和手工制作的挑战集都更具挑战性。

May, 2023

通过整合视觉解释力量，本研究提出了一个名为Visually Grounded Bias Discovery and Mitigation (ViG-Bias)的简单而高效的技术，并通过全面评估证明其对现有的DOMINO、FACTS和Bias-to-Text等技术的性能提升，在包括CelebA、Waterbirds和NICO++在内的多个具有挑战性的数据集上都取得了成功。

Jul, 2024

适当基准模型性能是重要的，以便构建更好的预测器并增加对模型正常运行的信心。我们引入了SkewSize，它是一种捕捉模型预测中偏见的度量，能够在多类设置或开放词汇生成模型的情况下使用。SkewSize能够突显其他指标未捕捉到的偏见，并提供对近期技术的影响的见解。

Jul, 2024

散点图中的线性回归模型的视觉验证常被用于评估模型质量，但其效力仍未被量化。本研究通过两个实证实验，调查了个体验证线性回归模型（线性趋势）的能力，并研究了常见可视化设计对验证质量的影响。实验结果显示，视觉估计斜率（即拟合线到数据）的准确度高于斜率的视觉验证（即接受展示的线）。值得注意的是，在这两种情况下，都存在对“过陡”斜率的偏见。这带来了新的发现，参与者自然而然地通过点与线之间的正交距离（即ODR回归）评估回归，而不是常见的垂直距离（OLS回归）。在第二个实验中，我们探究了对回归可视化进行常见设计（误差线、边界框和置信区间）是否能提高视觉验证。尽管误差线降低了验证偏见，但结果未显示出任何设计的准确性改进。总的来说，我们的研究结果表明，在散点图中使用线性趋势的视觉模型验证时应谨慎。

Jul, 2024

本研究解决了大型语言模型（LLMs）在解读各种数据可视化（如时间序列、直方图等）中的能力不足的问题。通过构建一个新颖的合成数据集并使用多模态文本提示评估多种先进模型，研究展示了LLMs识别和理解视觉数据的能力，揭示出其在不同视觉数据解释方面的优缺点，从而为未来的研究提供了基础基准。

Sep, 2024

本研究填补了人类观察者与视觉模型在3D形状推断任务中对齐评估的空白。通过采用认知科学的实验设计，研究发现人类在识别不同视角的相同或不同物体时表现显著优于现有视觉模型。这一发现揭示了人类在处理挑战性任务时的独特时间分配及认知策略，对模型优化具有重要潜在影响。

Sep, 2024

本研究解决了人类观察者与视觉模型在3D形状推理任务中的对齐问题。通过借鉴认知科学的实验设计，构建了超过2000个独特的图像集，并收集了来自500多名参与者的35K试验行为数据，结果显示人类在此任务中的表现显著优于所有视觉模型。这一发现强调了人类在应对复杂试验时的独特处理能力，潜在影响深远。

Sep, 2024