- 构建和评估数字孪生：一个智能框架用于 DT 开发
数字孪生的发展代表了一种在受控数字空间中模拟和优化复杂系统的变革性进展，本文介绍了一种智能框架用于构建和评估数字孪生，旨在提高数字孪生在测试算法性能方面的准确性和实用性。
- 算法性能无假设测试的限制
对于限定的数据量，我们研究了算法评估与比较的理论极限，发现在黑盒测试下无法客观评价算法性能，除非可用数据点数远大于样本量。在评估特定训练模型性能方面则较为简单，只需要保留一组验证数据即可。同样地，我们探讨了算法稳定性假设是否足以解决问题，结 - 基于行为约束的机器人控制 Actor-Critic 深度强化学习算法基准测试
本研究提出了一种用于评估行动受限强化学习算法的基准测试，对现有算法及其新颖变种在多个机器人控制环境下进行评估，提供了领域的第一个深入视角，并揭示了令人惊讶的见解，包括普通基准方法的有效性。我们的实验中使用的基准问题和相关代码可在 githu - IM-IAD: 制造业中的工业图像异常检测基准
在工业制造中，图片异常检测是一个重要的计算机视觉任务，已提出许多高级算法，但其性能存在差异。在本文中，我们首先提出了一个统一的工业制造设置，以评估这些算法在不同方面上的性能表现，然后构建了综合性的图片异常检测基准，该基准包括 16 种算法和 - AAAI评估基于模型无关的强化学习在安全关键任务中的应用
本研究提出了一种新的安全强化学习技术，即 Unrolling Safety Layer 方法，它通过结合安全优化和安全投影的方式来显式地强制实施硬性约束条件，该技术在学习零成本回报政策上具有良好的鲁棒性和适用性，并且实现了与算法评估的有机结 - 基于像素控制的表示学习：关键因素和原因
本文旨在探索强化学习在真实世界任务中的最佳应用，通过对基于像素控制的表征学习进行研究以及设计不同的评估指标来帮助研究人员重新思考表征学习。
- ECCVECCV 2020 的 FairFace Challenge：分析人脸识别中的偏见
本文总结了 2020 年 ChaLearn Looking at People Fair Face Recognition and Analysis Challenge 的评测结果和优胜解决方案，并提供了对结果的分析。这个比赛的目的是评估提 - 推荐系统的部分合成数据：预测性能和偏好隐藏
本研究采用统计披露控制方法生成合成数据，防止数据泄露，并在推荐系统算法实验中测试并展示其相对性能与原始数据的变化以及其隐藏了原始数据中某些可访问属性的现象。
- 连续语音分离：数据集与分析
这篇论文通过建立新的 LibriCSS 数据集并制定一套 Kaldi 基础的 ASR 评估方法，对连续语音分离算法进行了评估和研究，以解决自然对话中语音分离的问题。
- Macaw: 可扩展的对话式信息查询平台
本文介绍了一种模块化架构的开源框架 Macaw，用于实现和研究会话式信息检索的多轮、多模态和混合交互，并支持文档检索、问答、推荐和结构化数据探索等任务的算法研究和批量模式评估，可以与用户接口进行集成，其后端可以是完全算法化或巫师 Oz 设置 - 感知启发的图像修复方法比较
为了更好地评估自动图像修复算法，本研究主要通过主观比较了 9 个最先进修复算法，并提出了能够与比较结果高度相关的客观质量指标。
- 单张图像去雨：全面基准分析
本文针对单幅图像去雨算法进行了全面的研究和评估，建立了一个大规模的数据集作为对比基准，其中包括从合成图像到真实世界的雨天图像等多种数据来源和图像内容，并将其分为雨纹、雨滴、雨和雾三个子集，每个子集分别服务于不同的训练或评估目的。我们还提供了 - AVA-ActiveSpeaker: 一份用于活动说话人检测的音频 - 视觉数据集
本文介绍了 AVA-ActiveSpeaker 数据集，并提出了一种新的视听方法用于活跃演讲者检测，并分析其性能和数据集的贡献。
- 强化学习自然环境基准
本文提出了三类全新的强化学习基准测试领域，包含了一定数量的自然世界的复杂性，同时支持快速而广泛的数据采集，此举将挑战强化学习社区开发更加稳健的算法以满足高水准的评估要求。
- 不要忘记，遗忘并不是全部：连续学习的新指标
本文提出了一种更综合全面的衡量连续学习算法的方法，包括准确性、知识转移、内存占用和计算效率等多方面的度量，并将这些度量融合成一个评分，通过评估五种算法在 iCIFAR-100 数据集上的表现来证明这种方法的优越性。
- UCR 时间序列档案
UCR 时间序列档案在时间序列数据挖掘社区中已成为重要资源，提供了从 45 到 128 个数据集的扩展，并提供了实用的建议和观点。另外，该论文还指出，许多论文没有正确地归因于分类改善的原因，而只需一行代码即可实现相同的改善。
- 单幅图像去雾及深度学习评估
本文使用 RESIDE 数据集，对现有的单幅图像去雾算法进行了全面的研究和评估，提出了丰富的评价指标从多个角度进行度量，并通过实验比较了现有算法的优缺点，探索了未来的研究方向。
- 基于 RGB-D 的动作识别数据集：调查
本文系统回顾了人类动作识别中使用的 RGB-D 数据集，包括单视图、多视图和多人数据集，并分析了这些数据集的详细信息。此外，还讨论了当前算法评估中存在的问题，提出了收集新数据集和使用评估协议的建议。
- MM无线传感器网络中的机器学习：算法、策略和应用
本文通过对于 2002-2013 年期间机器学习方法在无线传感器网络中应用的文献综述，评估和比较了各种算法的优缺点并提供了指导性建议，以帮助 WSN 设计人员为特定的应用挑选最合适的机器学习解决方案。