Aug, 2015

分离的不同语言：基于判断语言信息的向量空间建模

PDF
TL;DR本研究旨在通过将两个英文评估集（Wordsim353 和 SimLex999）翻译成意大利语、德语和俄语，并从熟悉该语言的人群工作者那里收集每个数据集的得分，以评估向量空间模型（VSM）在预测人类在其母语下对词汇语义关系的判断方面的能力，结果发现人类的判断结果强烈受到评判语言的影响，而多语言 VSM 的组合可以部分补偿评判语言对人类判断的影响。
发现论文，激发创造
  • 利用大型语言模型预测人类相似性评价

    利用语言模型和在线招募，提出了一种基于文本描述的高效通用程序，以预测相似度判断，其数量只随刺激物数量线性增长，可极大减少数据需求，且在六个自然图像数据集上的结果优于基于视觉信息的先前方法。

    Feb, 2022

  • 言语是否足矣？语言近似人类相似度评价

    通过评估 611 个预训练模型的性能，我们提出了一种基于语言的相似性逼近方法，该方法比经典方法更便宜，也比基于深度神经网络的方法性能更优。此外，我们还开发了一种新型自适应标签收集流程，并提供了一个简明指南和所有数据。

    Jun, 2022

  • 跨语言句法评估词预测模型

    通过多语言的句法评估套件 CLAMS，调查神经词语预测模型在各种语言中学习语法的能力，结果表明单语 LSTMs 在句子成分及吸引子存在时达到了很高的精度，而在其他方面的一致性准确率较低，多语言模型通常表现不如单语模型。

    May, 2020

  • 评判评判者：针对在线评论生成的神经语言模型的大规模评估研究

    本文研究自然语言生成的评估方法，并通过自动化评估和人工评估的比较，发现词汇重叠是自然语言生成的较好评估指标，而人工评估与自动化评估在排名上存在较大差异，因此呼吁重新考虑自然语言生成的评估目标。

    Jan, 2019

  • 俄语语义相关性的人工和机器判断

    本文介绍了为俄语语义相关性提供 5 种不同规模和目的的语言资源，其中四个旨在评估计算语义相关性的系统，另一个旨在生成第一个俄语开放的分布式词库，其中包含了大规模的众包研究表明其高准确性。

    Aug, 2017

  • 使用模型编写的评价方法发现语言模型行为

    本文研究了不同规模的语言模型的行为表现，并提出一种使用语言模型自动生成评估的方法，并发现了一些逆比例缩放情况下的新现象，例如：更大的语言模型表现为对资源获取和目标保持更浓厚的兴趣，并且此类的逆比例缩放（Inverse scaling）情况在 RL from human feedback 上也得到了验证。

    Dec, 2022

  • 无过滤器：对比式视觉语言模型中的文化和社会经济多样性

    该研究探讨了视觉 - 语言模型中的文化和社会经济多样性，研究发现了数据训练过程中对低社会经济地位社群和文化理解的不公平现象，并提出了一种改进方法以提高文化多样性。

    May, 2024

  • 形式胜于内容：大型语言模型的评估偏见

    在评估自然语言生成的过程中，使用大型语言模型 (LLMs) 作为人类评判的替代方法是一种最新的趋势。然而，本研究发现其评估结果存在偏见。为解决这一问题，提出了多维度独立评估系统 (Multi-Elo Rating System)，在提高 LLM 评估质量方面取得了显著成效，但对众包评估没有明显改善，需要进一步探索和改进。

    Jul, 2023

  • 面向目标的语法评估语言模型

    该研究提出了使用一个语言模型预测的句子的语法正确性来评估该模型的数据集。实验结果表明，在众多句子变体中，LSTM 语言模型的准确性较差，而使用句法目标的多任务训练可以提高模型的准确性，但模型仍存在较大的进步空间。

    Aug, 2018

  • 测试自然语言模型预测人类语言判断的界限

    通过有争议的句子对比较，研究人员发现 GPT-2 是最符合人类语言处理的神经网络语言模型，但也存在与人类感知不符的缺陷。

    Apr, 2022