Mar, 2024

BAIT：交互证明（嵌入）架构的基准测试

PDF
TL;DR人工智能在定理证明方面，尤其是在交互定理证明中，已经产生了许多基准和方法。本文介绍了 BAIT，一个公正而简化的比较学习方法在交互定理证明中的框架，通过对多个基准的深入比较，展示了 BAIT 的能力。我们发现结构感知变换器表现特别好，改进了与原始问题集相关的技术。BAIT 还允许我们评估基于交互环境构建的系统的端到端证明性能。通过简化机器学习算法在 ITP 上的实现和比较，我们预计 BAIT 将成为未来研究的跳板。
artificial intelligencetheorem provinginteractive theorem provingbaitmachine learning
发现论文，激发创造
  • 快速捕鱼：高效可扩展的深度主动图像分类的 BAIT 逼近

    该研究论文介绍了两种方法来提高 BAIT 在计算效率和可伸缩性方面的性能，通过近似 Fisher 信息显著减少时间复杂度，从而使其在包括 ImageNet 在内的大规模数据集上高效使用，并提供了一个开源工具箱来实现最新的主动学习策略。

    Apr, 2024

  • 针对量化 Transformer 的高能效注意力和 Softmax 加速器

    该论文提出了 ITA，一种新颖的加速器架构，用于 Transformer 模型和相关模型的高效推理，通过利用 8 位量化和一种仅操作整数值的创新 softmax 实现，在嵌入式系统上实现了低功耗和高效能。ITA 在能效上与最先进的 Transformer 加速器相媲美，达到 16.9 TOPS/W，而在面积效率方面以 22 纳米完全耗尽硅上绝缘体技术满足 0.8 V 下的每平方毫米 5.93 TOPS/mm² 的性能。

    Jul, 2023

  • 对反问题中可逆架构的基准测试

    研究探讨了基于流的可逆神经网络在逆问题求解方面较为有效，并进一步结合十种可逆体系结构和相关模型解决低维基准问题，发现耦合层和简单自编码器表现最佳。希望该研究能促进其他研究者在相似情境中评估他们的可逆体系结构，并提出其他基准问题，以便该评估最终发展成为官方社区挑战。

    Jan, 2021

  • FAIntbench：文本到图像模型中的偏见评估的全面且精确的基准测试

    通过 FAIntbench 这一整体且精确的基准，在四个维度上评估了最近七个大规模的 T2I 模型的偏见以及其可见性、获取属性和保护属性，并对其进行了人工评估，证明了 FAIntbench 在识别各种偏见方面的有效性，还揭示了关于偏见的新研究问题，包括蒸馏的副作用。该研究的初步发现凸显了 FAIntbench 在推动未来的研究中减少 T2I 模型偏见方面的潜力，我们的基准系统已公开可用以确保可重现性。

    May, 2024

  • 为深度神经网络基准测试可解释性工具

    本文提出 Trojan rediscovery 作为一项基准测试任务，以评估可解释性工具生成工程相关见解的实用价值，并设计了两种基准测试方法。最终将这些方法应用到 16 个特征归因 / 显著性方法和 9 个特征合成方法中，发现了现有工具之间的巨大差异，并指出了未来研究的方向。

    Feb, 2023

  • SAIBench：科学人工智能基准测试

    该研究提出了一种名为 SAIBench 的系统，它使用专业语言 SAIL 分离科研问题，人工智能模型，排名标准和软硬件配置，以便在不同学科领域评估人工智能解决方案并提供低摩擦度入门。

    Jun, 2022

  • SAIBench：通过基准测试对科学 AI 进行结构解释

    人工智能用于科学 (AI4S) 是一个新兴的研究领域，利用机器学习的进展来解决复杂的科学计算问题，旨在提高计算效率和准确性。本文介绍了一种新颖的基准测试方法，称为结构解释，它满足了两个关键要求：在问题空间中确定可信的操作范围，并将错误追溯到其计算组成部分。该方法对问题和度量空间进行分区，促进了对这些空间的结构性探索。通过对机器学习力场 (MLFF)、喷气标记和降水预测这三个不同的 AI4S 工作负载应用结构解释，有效地建模了可信的操作范围，追踪错误，并揭示了改进模型、训练过程和数据采样策略的新视角。这项工作是 SAIBench 项目的一部分，它是一个 AI4S 基准测试套件。

    Nov, 2023

  • 引导可解释神经网络的因果结构

    通过交替干预训练的方法，将神经模型与因果模型进行对齐并将其纳入训练，实现在保留数据驱动学习能力的同时较好地表达因果结构，并在结构视觉、语言导航和自然语言推理任务上通过与多任务训练目标和数据增强的对比达到较好的效果，制备了较好的解释性神经模型。

    Dec, 2021

  • 面向信息获取会话系统的基于 Transformer 的意图感知响应排名

    本研究旨在提高个人助理系统中的回答质量，通过分析用户意图模式，提出了一种基于 Transformer 架构的意图感知自注意力模型（IART），结合了用户意图建模和语言表示学习，并在三个数据集上进行了实验，结果表明该模型优于基准方法。

    Feb, 2020

  • TransA: 知识图谱嵌入的自适应方法

    研究了知识表示在人工智能中的重要性，提出了基于转换的方法矢量化实体和关系，然后通过使用基于度量学习的自适应度量方法来提高性能。在基准数据集上通过实验证明了该方法的显着改进，领先于现有的基线模型。

    Sep, 2015