Nov, 2022

无损失无一致：在同行评审中的学习与社会选择

PDF
TL;DR研究对同行评审系统的评估方法进行了分析，通过实证风险最小化的方法，提出基于 L (p,q) 损失函数的聚合映射机制，解决了评估者对不同评估标准的不同权重问题，并探究了该方法中策略防御的问题以及提出了一种连续算法模型。
peer review systemsreviewer mappingempirical risk minimizationstrategy-proofnessaggregation algorithm
发现论文，激发创造
  • 损失函数、公理和同行评审

    介绍了一种基于经验风险最小化（ERM）的框架来学习社区对标准评审标准进行的映射的方法，重点考虑了为 ERM 指定损失函数的挑战并使用计算社会选择来确定理想值，最后将该方法应用于 IJCAI 2017 的审稿。

    Aug, 2018

  • 关于策略无效的会议同行评审

    本文研究了会议中同行评审机制的问题，提出了一种基于社会选择理论的策略性确保且高效的同行评审算法，并在 ICLR 大会提交数据上进行了实证研究。

    Jun, 2018

  • 一种公理化方法的损失汇总及适应性汇总算法

    针对在线学习推荐的一种变体聚合算法，该算法基于广义聚合函数，具有与 AA 相似的理论性质，如贝叶斯更新和对广义和损失的时间无关边界。

    Jun, 2024

  • 投票与排序：基于社会选择理论的基准评估修订

    该论文提出了 Vote'n'Rank 框架用于在多任务基准测试中排名系统，并通过该方法在不同领域中比较多个系统的表现，从而得出结论和新的 insights。

    Oct, 2022

  • 使用随机化、分区和分摊的无欺诈对等选择策略

    针对同行评议在科学、社会和商业领域的广泛应用，本研究提出了一种策略诚实、有效的同行选择机制，并通过模拟比较和随机取整技术解决了资源分配等相关问题。

    Apr, 2016

  • 具有战略专家的无悔在线预测

    本文研究了一种在线学习算法，该算法将多个专家的预测结果融合为一个预测结果以提高准确性，并利用特定结构的效用函数设计了激励兼容性和无悔策略两个要求的算法，以应对专家可能误导算法的情况。

    May, 2023

  • 避免同行评审过程中的公地悲剧

    介绍科学出版物的同行评审制度，讨论机器学习对此的影响，提出对标准和质量的强调以及提供适当的激励措施，如按照每次评审给予的财务补偿。

    Dec, 2018

  • 同伴损失函数：在不知道噪声比率的情况下从有噪标签中学习

    本文提出一种新的损失函数家族 -- 对等损失函数，用于解决监督学习中的噪声标签问题，不需要事先指定噪声率，可以获得与训练数据相同的最优分类器，并进行了大量实验验证，是解决标签可能含有噪声的训练中的一种稳健方法。

    Oct, 2019

  • 优化论文匹配的框架

    本文提出了一个框架来优化论文 - 审稿人分配，使用适宜性评分来测量论文和审稿人之间的成对亲和力，可以从提供的少量评分中推断出适宜性评分，将任务定义为整数规划问题，并提出了几种适用于论文和审稿人匹配问题的方案，探讨了学习和匹配相互作用的因素，对两个会议数据集进行了实验，测试了几种学习方法的性能以及匹配方法的有效性。

    Feb, 2012

  • 通过划分策略来保证同行评估的正确性：以评估者的专业水平为代价

    本文研究评估者分配问题，旨在解决评估者保真行为与专业领域匹配性的矛盾，结合多项式时间算法进行实现，并通过会议同行评审数据集进行方法的评估。

    Jan, 2022