ICLRJun, 2022

言语是否足矣？语言近似人类相似度评价

PDF
TL;DR通过评估 611 个预训练模型的性能，我们提出了一种基于语言的相似性逼近方法，该方法比经典方法更便宜，也比基于深度神经网络的方法性能更优。此外，我们还开发了一种新型自适应标签收集流程，并提供了一个简明指南和所有数据。
发现论文，激发创造
  • 利用大型语言模型预测人类相似性评价

    利用语言模型和在线招募，提出了一种基于文本描述的高效通用程序，以预测相似度判断，其数量只随刺激物数量线性增长，可极大减少数据需求，且在六个自然图像数据集上的结果优于基于视觉信息的先前方法。

    Feb, 2022

  • 分离的不同语言：基于判断语言信息的向量空间建模

    本研究旨在通过将两个英文评估集（Wordsim353 和 SimLex999）翻译成意大利语、德语和俄语，并从熟悉该语言的人群工作者那里收集每个数据集的得分，以评估向量空间模型（VSM）在预测人类在其母语下对词汇语义关系的判断方面的能力，结果发现人类的判断结果强烈受到评判语言的影响，而多语言 VSM 的组合可以部分补偿评判语言对人类判断的影响。

    Aug, 2015

  • 通过少量解释来近似人类对 NLI 的判断分布：从小处寻找大视角

    利用少数专家标签和解释，借助大规模语言模型 (LLM) 近似人类判断分布 (HJD), 从而提供了一种对 HJD 进行标注扩展的解决方案。然而，利用 LLM 生成的判断分布 (MJD) 进行微调时，结果存在部分不一致性，需要同时使用全局级的形状度量和可视化来更有效地评估 MJD 和 HJD 的一致性。

    Jun, 2024

  • 人工神经网络对人类语言习得的启示

    通过使用机器学习及自然语言处理技术，研究语言习得过程，探讨如何让模型学习在有限的语言输入下获取语言知识，以验证关于人类语言学习本质的假说。

    Aug, 2022

  • 评判评判者：针对在线评论生成的神经语言模型的大规模评估研究

    本文研究自然语言生成的评估方法，并通过自动化评估和人工评估的比较，发现词汇重叠是自然语言生成的较好评估指标，而人工评估与自动化评估在排名上存在较大差异，因此呼吁重新考虑自然语言生成的评估目标。

    Jan, 2019

  • 利用人类相似度评判修剪词向量以提高可解释性

    通过一种有监督学习方法，针对特定领域（例如运动、职业），识别出一组强烈改善人类相似度判断预测的模型特征子集，并通过两种方法解释所保留特征的语义，从而揭示了人类如何根据性别包容性和国际性来区分运动类别，以及不同领域中特征对不同语义维度的预测能力。对于职业特征而言，最能预测认知、情感和社会维度，而对于水果或蔬菜特征而言，则最能预测味觉维度。讨论了对于人工智能系统与人类知识之间的对齐的意义。

    Oct, 2023

  • 我们能利用大型语言模型填补相关性评判空缺吗？

    利用大型语言模型填补测试集中的空缺，以扩展现有的测试集合，并找出人工注释与自动注释的一致性差异，从而更好地满足人类需求的工作。

    May, 2024

  • 利用人类相似度判断改善神经网络表征

    研究发现，在保留本地结构的情况下对神经网络表示进行全局结构对齐可在各种少样本学习和异常检测任务中显著提高准确性。

    Jun, 2023

  • 语言对感知的揭示：从大型语言模型中梳理心理物理知识

    使用大型语言模型结合经典的心理物理学方法，从文本中提炼出心理物理信息，然后应用多维尺度方法发现其潜在的心理空间。在六个知觉域上测试我们的方法，成功地拟合了文献中已知的心理物理结构。这项工作展示了如何将最先进的机器模型与经典的认知范式相结合，从而阐明感知和语言研究中的基本问题。

    Feb, 2023

  • 基于预测的大型语言模型排序

    使用统计框架，我们可以以一定的概率保证，通过人类和强大的大型语言模型的成对比较排名结果覆盖了人类偏好的真实排名。

    Feb, 2024