Jul, 2024

AudienceView: 新闻报道中辅助人工智能解读观众反馈

HTML
PDF
TL;DR使用大型语言模型(LLM)，我们介绍了一种在线工具AudienceView，帮助记者对大量在线观众评论进行分类和解释。该工具能够识别主题、与具体评论关联、提供情感和评论分布的可视化方式，并帮助用户为后续报道项目提供创意。我们考虑这种工具如何在记者的工作流程中有用，并强调上下文意识和人类判断的重要性。
发现论文，激发创造
  • 自动文章评论：任务和数据集

    本文介绍了自动评论任务的提出和拥有数百万真实评论和人工标注的子集的大规模中文数据集，并开发了考虑评论质量与人类评估相关性的自动度量标准。

    May, 2018

  • 基于视觉和文本环境生成实时视频评论的LiveBot

    介绍了一项自动实时评论的任务，并通过构建大规模实时评论数据集和引入基于视觉和文本上下文的两个神经模型，实现了比以前的模型更好的性能，最终展示了第一个LiveBot。

    Sep, 2018

  • 阅读、参考和评论：用于自动新闻评论的深度架构

    本文探讨了自然语言生成的技术，并提出了基于“读-关注-评价”流程的新闻评论自动化生成方法，通过阅读网络和生成网络来理解新闻文章并生成评论。实验结果表明，该模型在自动评估和人类判断方面明显优于现有方法。

    Sep, 2019

  • 利用词移距离对用户故事进行主题建模

    本文讨论了使用主题建模技术处理大规模众包生成的用户故事的方法，经过比较，结合词嵌入和Word Mover距离的方法最为有效，可以将用户故事分成不同的类别。

    Jul, 2020

  • 使用大规模人类反馈数据进行对话响应排名训练

    通过社交媒体反馈数据构建训练集，在133M个人类反馈数据上训练了基于GPT-2的DialogRPT模型，结合评分模型排名机器生成的对话回复，并通过人类评估证明其效果优于基线模型。

    Sep, 2020

  • LiveChat: 从视听多模态环境生成视频评论

    通过创建大规模的音视频多模式对话数据集，以促进直播评论技术的发展，我们还提出了一种能够生成与视频中的时空事件以及正在进行的多模式对话上下文相吻合的实时评论的新颖多模式生成模型。

    Oct, 2023

  • 大规模监测AI修改内容：基于ChatGPT对人工智能会议同行评审的影响案例研究

    我们提出了一种方法，用于估计大语言模型（LLM）在大型语料库中可能被大量修改或生成的文本比例。通过利用专家编写和AI生成的参考文本，我们的最大似然模型能够准确而高效地检查语料库级别上真实世界中LLM的使用。我们将这种方法应用于ChatGPT: ICLR 2024、NeurIPS 2023、CoRL 2023和EMNLP 2023发布之后AI会议中的科学同行评议案例研究。我们的研究结果表明，在提交给这些会议的同行评议文本中，有6.5％到16.9％的文本可能是由LLMs进行了大幅修改，即超出了拼写检查或轻微修改的范围。生成文本出现的情况可以揭示用户行为：在对作者回复不太可能做出回应的评审人员提交的、截止日期接近的评审中，LLM生成的文本比例更高。我们还观察到生成文本的语料库级别趋势，这些趋势可能在个体级别上难以察觉，并讨论了这些趋势对同行评议的影响。我们呼吁未来的跨学科工作来研究LLM的使用如何改变我们的信息和知识实践。

    Mar, 2024

  • 利用大型语言模型引发信息丰富的文本评价

    利用大型语言模型，本研究引入了两种机制，即生成式同伴预测机制（GPPM）和生成式简介同伴预测机制（GSPPM），以扩大同伴预测机制的应用范围至基于文本的报告，并理论上证明当语言模型预测足够准确时，该机制能够激励高质量的反馈。在实证研究中使用了Yelp评论数据集和ICLR OpenReview数据集，结果表明在ICLR数据集上，该机制能够根据期望得分区分人工编写的评论、GPT-4生成的评论和GPT-3.5生成的评论，并且GSPPM比GPPM更有效地惩罚产生自语言模型的评论。

    May, 2024

  • 利用大型语言模型估计在线讨论中的贡献质量

    本研究针对在线讨论中贡献质量评估的困难，提出了一种利用大型语言模型（LLM）的方法，以替代传统的人类评估方式。研究发现，该模型在评估贡献质量时优于个别人类评估者，且维持了与无干预情况下相似的质量评分，表明干预措施能有效提升讨论质量而不损害贡献水平。

    Aug, 2024

  • AI-Press：基于大型语言模型的多智能体新闻生成与反馈模拟系统

    本研究针对新闻生成中大型语言模型在专业性和伦理判断上的局限性，以及在新闻发布前预测公众反馈的困难进行了探讨。提出的AI-Press系统通过多智能体合作和增强检索生成技术，显著提升了新闻生成的能力，并验证了其公众反馈模拟的有效性。

    Oct, 2024