Apr, 2024

将专家和非专家的观点结合起来，利用 LLMs 评估在线讨论中的审议质量

PDF
TL;DR通过开发适配器模型并计算专家和非专家之间的相关系数，我们引入了 AQuA，一种从多个指标计算统一的辩论质量分数的附加分数。从预先训练的适配器中轻松计算 AQuA 分数，并且与其他未在训练中见过的数据集上的注释相吻合，这与专家和非专家的注释分析确认了社会科学文献中的理论发现。
quality of contributionspolitical online discussionsdeliberation researchautomating measuresaqua score
发现论文，激发创造
  • QuaLLM: 一种基于 LLM 的在线论坛定量洞见提取框架

    该研究引入了 QuaLLM，一种基于 LLM 的新型框架，用于分析和提取在线论坛上的文本数据的定量洞见。该框架通过一种新颖的提示方法和评估策略进行构建，并应用于分析了 Reddit 拼车工作者社区的超过一百万条评论，揭示了工作者对 AI 和算法平台决策的重大关注，以回应有关工作者洞察力的监管呼吁。总之，我们的工作为 AI 辅助的定量数据分析从在线论坛中浮出的关注点树立了新的先例。

    May, 2024

  • AdvisorQA: 以集体智慧解答有益无害的咨询问题

    通过使用生活小贴士问题的信息和人类评估，我们引入了 AdvisorQA 来评估大型语言模型在提供个性化建议方面的能力，并展示了 LLMs 在理解人类主观性方面的提高。

    Apr, 2024

  • 基于优化和人工智能的学术质量量化研究 —— 透明学术招聘的模型开发（第一部分）

    该论文研究了高校和研究机构公平的学术招聘问题，提出了基于优化和神经网络的两种计算框架来构建决策支持工具，通过计算 Academic Quality Index 对学术质量进行量化评估。

    May, 2023

  • 嵌套神经符号法对动作质量评估的研究

    使用计算机视觉进行行动质量评估的研究通过神经网络从视频数据中提取可解释的符号，并应用规则进行质量评估。该研究以潜水为案例研究，发现领域专家更喜欢该系统，并认为它比纯粹的神经网络方法在潜水行动质量评估方面更具信息量。该系统还实现了先进的动作识别和时间分割，并自动生成详细报告，将潜水行动分解为各个元素，并提供带有可视证据的客观评分。通过一组领域专家的验证，该报告可以用于协助评委打分，培训评委，并向潜水员提供反馈。研究人员将公开其所有的标注训练数据和代码以便于可重复性。

    Mar, 2024

  • 修辞、逻辑和辩证法：自然语言处理中理论为基础的论证质量评估的推进

    本研究针对计算论证质量 (AQ) 的整体评估展开前期工作，提出了一种基于理论的评估方法，并开发了首个大规模的英文多领域 (AQ 社区问答、辩论、评论) 语料库 GAQCorpus，为之后的工作提供了坚实的基础。

    Jun, 2020

  • 使用大型语言模型评估政治问答环节中的回答质量

    基于语义搜索的方法来评估政治问答环节中答案的质量，结果显示答案质量与议会成员的政党隶属和问题主题之间存在显著相关性。

    Apr, 2024

  • QUASAR：高品质和美观度评分的先进表征

    该研究介绍了一种新的数据驱动的、非参数化的图像质量和美学评估方法，通过提出高效的图像锚点消除了对表达性文本嵌入的需求，在七个现有自监督模型的广泛评估中，我们的方法表现出卓越的性能和鲁棒性，不受数据和预处理流水线的天性的影响，在有限的数据下能与人类评估高度一致，为图像评估提供了简化的解决方案，并对视觉信息的感知提供了深入洞察。

    Mar, 2024

  • AQuA: 标签质量评估的基准测试工具

    该论文提出了一个用于评估机器学习中标签错误的基准环境 AQuA，引入了标签错误检测模型的具体设计选择的设计空间，并希望借助该基准实现客观而严格的机器学习工具评估。

    Jun, 2023

  • 在线健康专家问答服务的质量预测深度学习方法

    提出了一种基于深度置信网络的在线健康询问平台回答质量预测框架，该框架利用非文本特征和医生答案的高层语义表示来预测答案质量。

    Dec, 2016

  • Teranga Go!: 多目标犹豫模糊语言术语集合意见的拼车协同消费社区建立信心和信任

    提出了一种基于 2-Tuple Fuzzy Linguistic Delphi 方法的问卷验证决策模型并开发了一个在线工具，用于解决达成共识和修改问卷部分的问题。

    Feb, 2024