ACLFeb, 2023

实时视觉反馈用于引导基准创建：人 - 指标协同的工作流程

PDF
TL;DR该篇论文提出了一种基于引导群众工作者的新型自然语言处理（NLP）基准创建范例 VAIDA，以减少创建样本中的人为偏差，并通过 NASA TLX 用户研究及专业评估证实，减少了创建样本的人力、时间投入的同时，增加了样本的整体性与质量，并降低了不同模型的创建样本的表现效果，观察到创建样本对多种模型有攻击性。
发现论文，激发创造
  • VIALM: 视力障碍者辅助的大模型调查和基准

    自动化帮助视障人士处理日常活动的目标是通过计算机视觉和自然语言处理的发展实现的，使用大型模型，通过大规模研究调查了大型模型在视障辅助方面的潜力和限制，结果显示，虽然大型模型可以增强视障辅助功能，但其输出无法很好地与现实接轨并且缺乏细致的指导。

    Jan, 2024

  • VIVA: 基于视觉支持的人值决策基准

    介绍了 VIVA，这是一个以人类价值观为驱动的视觉决策基准，通过多模态决策能力在视觉场景下做出决策。

    Jul, 2024

  • 从众包数据到高质量基准：Arena-Hard 和 BenchBuilder 流程

    通过 BenchBuilder 工具从 Chatbot Arena 收集的大量数据中提取高质量的基准测试，从而为开发者提供了一个有价值的工具，使他们能够轻松地从广泛的数据中提取高质量的基准测试，进而提升评估基准。

    Jun, 2024

  • LIDA：利用大型语言模型自动生成与语法无关的视觉化和信息图表工具

    该论文介绍了一个名为 LIDA 的工具，它采用基于大型语言模型和图像生成模型的管道，将可视化生成形式化为一个多阶段生成问题，能够支持数据和目标的语义理解、可视化目标枚举和可视化规范的生成，LIDA 提供了 Python API 和混合用户界面用于交互式图表、信息图表和数据故事生成。

    Mar, 2023

  • 无图像的自然语言处理任务的视觉增强预训练语言模型

    本文提出了一种新的视觉增强微调方法，名为 VAWI, 该方法能够将视觉语义注入到不同 PLMs 或自然语言处理任务中，通过使用视觉饥饿字词的固定 CLIP 文本编码器来产生视觉增强表示，引入了视觉语义，实验结果表明该方法能够改善 BERT、RoBERTa、BART 和 T5 的性能，并显著优于其他竞争基线。

    Dec, 2022

  • VPA：完全测试时间的视觉提示适应

    通过引入可学习的标记，VPA（Visual Prompt Adaptation）作为一个框架通过测试时间的自适应实现了视觉提示的普遍性，且不需要源领域信息，实验结果表明 VPA 有效提高了各种模型的历程泛化、抗干扰性和领域适应能力，以及对视觉 - 语言模型的零样本识别性能的鲁棒性改进。

    Sep, 2023

  • 支持人工智能与人类合作审计 LLM 的 LLM

    本文介绍了一个新的大型语言模型审计工具 AdaTest ++，并展示了人类和生成模型在协作审计中的互补优势，该工具有效地利用人类的强项，包括模式化、假设形成和测试，帮助鉴定了之前鲜有报道的 26 种不同类型的失效模式。

    Apr, 2023

  • ARAIDA：模拟推理增强的交互式数据标注

    Araida 是一种基于类比推理的方法，可以提高交互式数据注释的自动注释准确性，并减少人工校正的需求，通过动态协调注释模型和最近邻（KNN）模型，显著减少人工校正劳动力。

    May, 2024

  • 视觉增强语言建模

    提出了一种名为 VaLM 的预训练框架，对语言建模进行视觉增强，通过图像检索模块检索相应图像，使用视觉知识融合层使多模态语言建模可以参考文本和图像的视觉知识，并在需要的情况下获取相关联的图片，通过对各种视觉知识密集型的常识推理任务的评估，展示了 VaLM 在推理对象的常识，包括颜色、大小和形状方面的性能优于强语言和视觉语言基线。

    May, 2022

  • 透明机器学习的质量指标与是否有人参与无关

    使用心理物理学技术研究了可解释计算机视觉算法的质量，发现经典的心理物理学方法可以用于机器学习应用程序中，而无需人为干预，使用传统的自动化质量指标计算出的质量指标不能提供一致的解释方法排名，这些发现强调了只有在人机交互的自然环境中评估解释能力才能获得真实的解释能力评估。

    Jul, 2021