Nov, 2023

规模化溯源：对话式学习方法链接公众评论与监管机构回应

PDF
TL;DR美国联邦监管机构每年收到来自企业、利益团体和公众的超过一百万封评论信，所有这些信件都主张对拟议法规进行修改。本文提出了一种简单而有效的解决方案，通过使用迭代对比方法训练神经模型，旨在将公众评论的文本与监管机构编写的回复进行匹配，以衡量特定评论的影响。我们证明了我们的提案在人工标注的测试集上大大优于一组选择的文本匹配基线。此外，在处理较大规模的评论和监管机构回复匹配时，它的性能可与最先进的巨型语言模型（即 GPT-4）媲美，并且更具成本效益。
u.s. federal regulatorscomment letterspublic policyneural modeltext matching
发现论文，激发创造
  • 代码到注释的翻译：数据、度量、基准和评估

    本文在研究代码注释生成中，分析了采用翻译模型的可行性以及 BLEU 得分的校准方法，并提出了基于信息检索方法的合理基准线以及未来研究方向的建议。

    Oct, 2020

  • 利用用户生成数据学习评论生成

    提出了一种结合检索和生成方法的方法，使用关注模块检索有信息量和相关性的用户生成数据评论，然后与文章一起作为输入，使用具有复制机制的序列到序列模型。在大规模评论生成数据集上展示了该模型的稳健性并证明了其在 BLEU-1 得分方面比具有注意力机制的 Seq2Seq 和信息检索模型等强基线模型显着优越约 27 和 30 个 BLEU-1 点。

    Oct, 2018

  • 基于代码更改的自然语言注释更新学习

    本文提出一种通过学习不同的自然语言表征和代码表征之间的关系，生成一系列编辑操作来更新现有自然语言注释的方法，并在开源软件项目集合上进行多个实验和对比，结果表明该模型性能优于其他算法。

    Apr, 2020

  • 多任务学习在毒性评论检测中降低模型偏差的实证分析

    该论文评估了多种最先进的模型，特别关注减少模型对一些少数群体的偏见，提出了一个多任务学习模型以及一系列深度学习模型，并使用特定的指标测试这些身份群体中意料之外的模型偏见。

    Sep, 2019

  • 跨多元社群中有毒评论识别的主观建模（通过模仿标注者注释）

    在线毒性讨论的普及和影响使内容管理至关重要。自动化系统在识别有毒评论和减少对人工管理的依赖方面起着至关重要的作用。然而，识别多样化社区的有毒评论仍然存在挑战，本研究对此进行了探讨。

    Nov, 2023

  • 顶评或踩评？预测和解释在线新闻讨论中的用户参与

    本研究采用神经网络模型对用户评论进行了分析，跟踪评论获得的赞和回复，并基于这些信息区分出具有高或低赞回复概率的评论。研究表明，有助于激发用户互动的评论特征可以按照一定的分类学进行整理，神经网络在分析这种回归问题时表现出最好的性能。

    Mar, 2020

  • 基于分层 Reformer 模型的金融监管申报文献中的物料信息发现

    通过深度学习模型，分析加拿大金融规定文件数据集（SEDAR），预测交易量变化，探究金融市场行为，并发现模型能够在不需要显式训练的情况下，探测到重要信息的指示。

    Mar, 2022

  • 使用深度学习方法确定有毒评论和意外模型偏差最小化

    使用 BERT 模型，通过对权重损失的加权处理，检测有毒评论并减少对包括种族、性别、宗教在内的身份特征的意外偏见。与传统的逻辑回归模型相比，经过微调的 BERT 模型在分类和偏见减少方面表现得更好，具有 89% 的准确率。

    Nov, 2023

  • 通过自然语言以人工反馈聚合大规模语言模型数据对齐

    通过模型中人类反馈的学习，改进大型语言模型（LLMs）的输出与人类期望的一致性，利用人类反馈信号中以响应对的排名形式的强化学习，研究使用自然语言反馈模型的数据效率，通过对 ChatGPT、BARD 和 Vicuna 等模型的反馈逐渐改进，提高了模型的响应质量。

    Nov, 2023

  • 大规模语言反馈训练语言模型

    利用语言反馈进行模仿学习 (ILF) 是一种新方法，可以有效提升大型预训练语言模型的摘要性能，并比使用对比反馈或人工摘要的方法更好。

    Mar, 2023