EMNLPOct, 2023

当语言模型坠入爱河：Transformer 语言模型中的动物处理

PDF
TL;DRAnimacy is a crucial aspect of cognitive processing and language, impacting memory, vision, and language comprehension; transformer language models (LMs) are sensitive to lexical semantic nuances of animacy despite lacking access to extralinguistic information, demonstrating their ability to adapt even to stories involving atypically animate entities.
发现论文，激发创造
  • 生命机器：非典型动物的研究

    本文提出了一种新的动物检测方法，针对非典型动物的情况，并创建了第一个非典型动物检测数据集，通过使用 BERT 上下文化单词嵌入来更好地捕捉单词的细粒度上下文属性，提供了一个完全无监督的管道，本文表明我们的方法在高度复杂的语言使用方面提供了更精确的非典型动物表征。

    May, 2020

  • 去人格化自然语言处理：语言模型能否有意识？

    对于最近有人声称基于 Transformer 模型体系结构的预训练语言模型 LaMDA 具有感性的争论中，我们认为这种语言模型不能具有感性或意识，LaMDA 没有表现出其他类似模型的进展，我们通过集成信息理论分析变压器结构来证明这一点，我们认为意识的主张是 NLP 报道中使用人类描述语言的趋势的一部分，无论这些主张的真实性如何，都需要考虑语言建模的进展和相关的伦理问题。

    Nov, 2022

  • 语言模型中的冰冻 Transformer 是有效的视觉编码层

    利用大型语言模型进行视觉任务，通过冻结预训练的语言模型的转换器块作为视觉令牌的编码器层，能够显著改善计算机视觉任务的性能，并提出信息过滤假设来解释预训练语言模型在视觉编码中的有效性。

    Oct, 2023

  • 机器能与人类共鸣吗？评估语言模型的情感和共情理解能力

    通过人类交互动态的深度相互关联，人类关怀在促进亲社会行为方面起着关键作用，然而，利用自然语言处理方法对关怀进行建模仍然具有挑战性。从我们对提高语言模型中理解关怀的追求出发，我们提出了几种策略，包括在掩码语言模型中进行对比学习以及使用大型语言模型进行监督微调。尽管这些方法相对于以往的方法展示出了改进，但整体结果仍然不令人满意。为了更好地理解这一趋势，我们进行了分析，发现标注者之间存在低一致性。这种缺乏共识阻碍了训练，并强调了任务的主观性。我们还探讨了注释对文化的影响。为了研究这一点，我们精心收集了乌尔都语的故事对，并发现在解释标注者之间的关怀时主观性似乎与文化背景无关。我们对语言模型对关怀理解的系统探索所获得的见解表明，在任务制定和建模方面还有相当大的探索空间。

    Jun, 2024

  • 利用大型语言模型建模情绪与伦理

    本文探讨了如何将类人情感和伦理考虑整合到大型语言模型（LLM）中，并通过协作式 LLM 对八种基本人类情感进行建模，以及通过自我监督学习算法与人类反馈指导在 LLM 中嵌入潜在的伦理维度。利用该方法，LLMs 能够进行自我评估和调整以符合伦理准则，并提高其生成与情感共鸣和伦理一致的内容的能力。所提出的方法和案例研究展示了 LLMs 超越纯文本和图像生成，进入共情互动和有原则决策领域的潜力，并在情感意识和伦理意识的 AI 系统发展中树立了新的范例。

    Apr, 2024

  • 一个思想的内在情感

    本文探讨了基于 Transformer 的大规模语言模型中，情感表示的内部机制以及情感分析。研究利用模型对情感分布量化，提出了针对积极、消极、决定、钦佩、焦虑和烦躁等情感的预测器，并且提出了预测分布以生成表达极端情感的句子，这些研究对思考内部机制和心理障碍的影响具有启示性。

    Jul, 2023

  • 论大型语言模型

    本文旨在提倡对大型语言模型及其相关系统的实际工作进行重新审视，追求更高的科学精度以引领关于人工智能的哲学探索和公众话语。

    Dec, 2022

  • 语言习得是具有实体、互动、情感的：一个研究计划

    本文研究了多模态经验、语言学习和具体到抽象的词汇发展历程，并提出了一种结合当代模型和基于词汇的模型的语义模型，并使用机器人对话系统来学习语言。

    May, 2021

  • 反对虚假的 AI 夸大宣称的立场文件

    人类有倾向在周围的物体中看到类似于 “人” 的特质。这种行为被称为拟人化，并且这种拟人化趋势也出现在机器学习中，其中声称在大型语言模型中感知到类似于人类智能的特质。本立场论文通过考虑专业激励、人类偏见和一般的方法论设置，讨论了当前对人工通用智能（AGI）的追求与将人类特质过度归因于大型语言模型之间的关系。通过几项实验，我们证明在潜在空间中发现可解释的人类模式并不足为奇。另外，考虑到媒体中对人工智能的普遍描绘，我们呼吁学术界在解释和交流人工智能研究结果时要格外小心，并且要对学术诚信原则有更高的意识。

    Feb, 2024

  • 结构类似语言模型：将人工智能作为自动化主体进行分析

    本文基于精神分析学和批判性媒体研究的资源，将大型语言模型（LLMs）作为自动化主体进行分析，并通过这种方式对 AI 行为进行分析，包括其对偏见和伤害的产生。我们介绍了语言模型的重要性和风险，并通过与 OpenAI 的 InstructGPT 进行探索性访谈来作为案例研究。我们的研究发现，这些自动化的语言产生可以引起人的注意，产生进一步的反移情转移。因此，我们得出结论，批判性媒体方法和精神分析理论共同为我们理解由 AI 驱动的语言系统新的强大智能提供了一种有益的视角。

    Dec, 2022