ACLJun, 2019

从不同角度看问题：探索关于声明的多元视角

PDF
TL;DR论文探讨信息革命的一个关键后果是信息供应的大量增加和污染。我们提出了一个基于自然语言理解的任务，即建立一个包含主张、观点和证据段落的数据集，以便更好地理解有争议的问题。通过在线辩论网站、搜索引擎和众包，本研究构建了名为 PERSPECTRUM 的数据集，用以解决主张的支持观点的发现，具有挑战性和机遇性。
fact checkingperspective discoverydatasetevidence paragraphsnatural language understanding
发现论文，激发创造
  • 超越相关性：评估和提升具备观点感知的检索模型

    信息检索任务要求系统根据用户的信息需求识别相关文档。这项研究探讨了检索系统是否能够识别和回应查询的不同视角，以及利用几何特征改善检索系统的视角意识。

    May, 2024

  • PerspectroScope: 多元视角世界的窗口

    介绍了 PerspectroScope，这是一个基于 Web 的系统，可让用户查询有讨论价值的自然语言声明，并提取和可视化支持或反对声明的各种角度及其证据，使用户可以探索可能触及手头问题各个方面的不同观点和证据。

    Jun, 2019

  • 超越事实验证：比较争议话题上的不同主张

    本研究提出了一种名为 ClaimDiff 的新的数据集，用于比较包含微妙差别的主张对之间的区别，并帮助人们在各种媒体来源中做出更明智的决策。

    May, 2022

  • 多视角搜索引擎的设计挑战

    本篇论文探讨了如何将自然语言理解与文档检索相结合，提出了面向角度的文档检索范式。基于此范式实现了一个原型系统，通过用户调查评估了其实用性以及针对争议性问题的信息需求。

    Dec, 2021

  • 预测计算中朝向透视主义矫正的转变

    本文阐述 “数据透视主义” 的概念，提出通过采取人类主体在机器学习过程中所涉及到的知识表达方法，来代替传统的黄金标准数据集。文章探讨了如何在实践中采用透视主义态度来解决主观和客观机器学习任务的问题，并提出相关建议和研究议程。

    Sep, 2021

  • 从大型语言模型中我们能提取多少种不同的观点？基于评判标准的多样性激励！

    调查了大型语言模型（LLMs）在生成多样化观点和理由方面的能力，提出了一种基于标准提示技术来衡量透视多样性的方法，并发现利用句子嵌入和距离度量来衡量语义多样性是不够的。研究结果表明，LLMs 能够根据任务主观性的程度产生多样的观点。

    Nov, 2023

  • 论论述多样性的实证分析

    通过介绍多个方面的多样性，包括意见、注释者和来源，评估了目前在关键点分析任务中表现欠佳的高层次论证总结方法，并发现通用 LLM 和专用 KPA 模型在处理数据来源、代表少数人的论点和人类提供的主观性方面存在互补的优势，观察到多样化的训练数据可能改善泛化能力，因此解决论证总结中的多样性问题需要采取多种策略以应对主观性。

    Feb, 2024

  • 临界视角：透视 API 中存在的陷阱的基准

    本文讨论如何对互联网内容中的 “有害” 语言进行检测，重点介绍了来自 Jigsaw 的最新分数评估工具 PERSPECTIVE，以及我们提出的新基准 SASS，并探讨了 PERSPECTIVE 在 SASS 上表现不足的问题。本文的研究表明，对于已经应用于有害性检测的工具的假设进行质疑十分重要，以预测和防止任何不公平的伤害。

    Jan, 2023

  • 基于证据的现实世界信息需求验证

    论文介绍了一种新的认领审核数据集，其中包括来自搜索引擎查询的实例，共包含 10,987 个带有证据的主张，证据来自完整的维基百科文章，注释具有章节和句子级别的细粒度，通过总体评估，作者发现使用证据提取来总结最终用户的理由时，预测主张真实性的准确性并没有明显差异，此数据集还存在挑战性问题，作者在转移学习实验中进行了证明

    Apr, 2021

  • 透视者的范式转变：对捕捉人工标签的假设和挑战

    对于机器学习中的数据标注，多年来一直采用从多个标注者那里收集和汇总标签的方法。然而，当标注者不一致时，我们应该怎么办呢？尽管长期以来，标注者的不一致被视为需要最小化的问题，但新的观点主义方法质疑这一假设，将不一致视为宝贵的信息源。本文中，我们研究了有关标注者不一致的实践和假设，一些是受观点主义方法的挑战，一些是待解决的问题，以及基于这些假设进行工作的实际和规范性挑战。我们最后提出了对数据标注流程的建议，并探索与主观性和不一致性有关的未来研究方向。

    May, 2024