Oct, 2020

Catch Me if I Can: Peer Assessment 中策略行为的检测

PDF
TL;DR本研究考虑同行评估任务中的策略行为，设计了一种测试方法以侦测此类行为，并通过实验验证了其检测能力。
发现论文，激发创造
  • 众包绩效评估中的偏见和战略行为发现

    该研究旨在开发一种识别众包绩效评估中偏见和战略行为的方法并揭示同事互评中的 “歧视慷慨” 现象，以及该现象引发的两种偏见类型，为人才和管理计算机提供公平感知数据挖掘的视角。

    Aug, 2019

  • 通过划分策略来保证同行评估的正确性：以评估者的专业水平为代价

    本文研究评估者分配问题，旨在解决评估者保真行为与专业领域匹配性的矛盾，结合多项式时间算法进行实现，并通过会议同行评审数据集进行方法的评估。

    Jan, 2022

  • 战略操纵的差异影响

    本文研究算法决策，分析了在社会不平等的情况下，一方面面临更高的成本的候选群体可能会被错误地排除，而另一方面面临更低成本的候选群体可能会被错误地接受。本文还探讨了给予补贴的干预效果，发现某些情况下给予补贴只会提高算法决策者的效用，但实际上会损害所有候选群体的利益，包括补贴接收者。

    Aug, 2018

  • 贝叶斯推理改进同行评分

    本文探讨了对等评分系统，提出了一种新的概率模型，该模型能够更准确地估计群体作业的分数，并且使用混合整数规划将计算结果更易解释。作者在多个大型班级进行了实验验证，结果表明，使用该模型可以更准确地估计真实的分数、学生提交低精度报告的可能性以及其固有的评分误差的变化。

    Sep, 2022

  • 同行评审中恶意论文竞标数据集

    本文研究了同行评审中的恶意评审行为问题，提出了一种基于通过构建数据集来监测恶意出价的方法，并基于该数据集分析了出价行为，并提出一些简单的检测算法以检测恶意出价。

    Jun, 2022

  • 战略评估：主体、评估者与社会

    评估的设计可以被理解为进一步推进评估者的目标，这可能与更广泛的社会目标不一致，因此研究聚焦于这种战略互动，探讨决策主体、评估者和整体社会之间的相互作用。

    Oct, 2023

  • 使用网络协议和行为分类的在线评估违规检测

    本文研究了在线考试作弊现象及其潜在危害，并提出了一种基于智能代理和行为监测的措施，包括使用 DenseLSTM 和一个新的 PT 行为数据库，在考试响应中检测和降低不当行为。实验表明，这种方法可达到高达 90.7% 的分类准确率。

    Jan, 2022

  • 同行排名法用于同行评估

    本文提出了基于 PeerRank 方法的同伴评估技术，该方法可以有效地对同伴打分进行加权，具有一定的形式属性和性能优势。

    May, 2014

  • 操作和同伴机制：一份调查

    该研究调查了防止同行机制中操纵的方法，并指出了几个重要的研究挑战。

    Oct, 2022

  • 使用随机化、分区和分摊的无欺诈对等选择策略

    针对同行评议在科学、社会和商业领域的广泛应用，本研究提出了一种策略诚实、有效的同行选择机制，并通过模拟比较和随机取整技术解决了资源分配等相关问题。

    Apr, 2016