本研究论文系统地总结了交互模型分析的三大类任务：理解、诊断和改进，旨在帮助用户高效解决实际的人工智能和数据挖掘问题，同时探讨了相关未来研究机会。

Feb, 2017

本文旨在提出一种规范化和明确定义的人工评估协议，以促进未来作品中可验证和可重复的人工评估，针对 37 篇最近论文调查显示，许多作品仅依赖自动度量或执行不可靠或不可重复的人工评估，同时，作者还提供了设计可靠和决定性人工评估实验所需的见解，并向社区提供了几个公开的资源以促进快速实现。

Apr, 2023

本文旨在分享跨学科 XP 机器学习设计和评估方法的知识和经验，并提出了 XP 智能系统设计目标和评估方法的分类以支持 XP 研究的多样性设计目标和评估方法。我们为不同 XP 用户组的设计目标和其评估方法之间的映射提供了一个分类，以及一系列的设计指南和与之相对应的评估方法，从而关闭多学科 XP 团队的迭代设计和评估循环。

Nov, 2018

本文描述了我们在计算机文本分析方面的经验，并提出了一些最佳实践来处理厚重的社会文化概念，以促进跨学科合作。

Jul, 2019

我们介绍了 InterleavedBench 作为第一个精心策划的用于评估混合文本图像生成的基准，并引入了使用 GPT-4o 提供准确且可解释的评估的强无参考度量 InterleavedEval。通过广泛的实验和严格的人工评估，我们表明我们的基准和度量可以有效评估现有模型，并与以前的基于参考的度量具有较强的相关性。

Jun, 2024

我们在本文中提出了一种经验研究，介绍了一种用于文本到图像（T2I）生成模型的细致评估框架，应用于人类图像合成。我们的框架将评估分为两个不同的组别：第一组主要关注美学和真实性等图像质量，第二组则检验文本条件，包括概念覆盖和公平性。我们引入了一种创新的美学评分预测模型，评估生成图像的视觉吸引力，并首次提供了标记有生成人类图像低质量区域的数据集以便进行自动缺陷检测。我们对概念覆盖的探索考察了模型准确解释和渲染基于文本的概念的有效性，而公平性分析则揭示了模型输出中的偏见，特别关注性别、种族和年龄。尽管我们的研究以人类图像为基础，但这种双重面向的方法被设计成具有灵活性，可以应用于其他形式的图像生成，增强我们对生成模型的理解，并为下一代更复杂、具有上下文意识和伦理关注的生成模型铺平道路。我们将很快发布我们的代码，用于评估生成模型的数据以及标注有有缺陷区域的数据集。

Mar, 2024

通过多透视的分析，该研究综述了视觉文本处理领域的最新进展，从文本图像增强和恢复到文本图像操作的层次性分类，再到不同学习范式。同时，讨论了如何将特定的文本特征，如结构、笔画、语义、风格和空间背景，无缝地整合到各种任务中，并在几个广泛使用的数据集上对方法进行了测试和评估。最后，确定了未来研究的主要挑战和潜在途径，旨在确立该综述作为一个基础资源，促进视觉文本处理领域的持续探索和创新。

Feb, 2024

该研究提出了一个包含六个度量标准的框架，可以用于评估时间序列分类和分割任务中的可视化解释方法的可靠质量度量，并评估了多种流行神经网络架构在不同数据集上的表现，从而为领域专家提供选择适当可视化技术的建议。

Mar, 2022

本文研究在评估维基百科文章和学术论文质量方面，采用同时结合文本内容和文档视觉渲染的联合模型来捕捉文档质量的显式和隐式特征，实验结果表明，文本和视觉特征是互补的，能够达到最先进的效果。

Jan, 2019

通过系统审视 259 篇近 10 年来发表以及 2010 年前的代表性著作，我们构建了一个分类法，其中包括技术建模前、建模过程中以及建模后的三个一级类别；每个类别可以进一步分为具体的分析任务，并列举了一些最近具有影响力的作品。同时，我们还讨论和突出了有挑战和有前景的研究机会，这些对于视觉分析的研究者非常有用。

Aug, 2020