Jun, 2019

狮子有多大？诱导定量属性分布

PDF
TL;DR本文提出一种无监督的从大量网页数据中收集数量信息的方法，并将其用于创建一个由与物体、形容词和动词相关的物理量分布组成的新的大型资源，即 DoQ。与该领域的最新研究不同的是，DoQ 重点关注绝对的数量比较，而不仅仅是相对比较，例如 “狮子比狼大吗？”。我们的评估表明，DoQ 在名词和形容词的相对比较方面与现有数据集的最新结果相比具有优势，并且得出了一个我们引入的新数据集。
nlp systemsquantitative attributesunsupervised methodweb datadistributions over quantitative
发现论文，激发创造
  • 具有分布式 Lion 的通信高效分布式训练

    本文介绍了一种新颖的 Lion 优化器适用于分布式训练环境，通过使用 Lion 中的符号操作符，仅需要在工人和中心服务器之间传送二进制或低精度向量，可显著降低通信成本，并具有良好的性能和带宽平衡。

    Mar, 2024

  • 将问答数据集转化为自然语言推断数据集

    本研究提出了一种基于句子转换模型的新方法，从庞大数量的大型问答数据集中自动派生自然语言推理（NLI）数据集，并展示了其将多种问答数据集成功应用于自然语言推理数据集的能力，从而新派生出包含 50 万个以上 NLI 示例的免费数据集 (QA-NLI)，展示了它呈现的推理现象的宽泛性。

    Sep, 2018

  • 语言在 CLIP 对象 - 属性组合泛化中起着关键作用

    通过研究图像与语言模型 (CLIP) 在不同类型的分布转换下的通用性，重点关注图像与语言模型在新颖的属性 - 对象配对组合中的分类能力。研究表明，使用大规模的训练数据和语言监督可以显著提高视觉 - 语言模型的组合泛化能力。

    Mar, 2024

  • LAION-5B: 用于训练下一代图像 - 文本模型的大规模开放数据集

    LAION-5B 是一个包含了 58.5 亿组图像 - 文本对的数据集，许多基础的模型如 CLIP、GLIDE 和 Stable Diffusion 成功地使用了该数据集进行复现和微调，这个数据集的开放也将推动更多基于大规模多模型的研究。

    Oct, 2022

  • 野外文本分类：大规模长尾姓名标准化数据集

    本文研究机构名称的规范化问题，针对实际数据应用中存在的长尾分布情况，提出了一个包含超过 25k 类的长尾数据集 LoT-insts1，并进行了基于搜索方法和 Bert 模型的神经网络等多种方法的基准测试及提出了一种特殊的 Bert 模型，在 few-shot 和 zero-shot 测试集上表现更好。该数据集是自然长尾且包含许多训练数据，是第一个专注于长尾和开放式分类问题的自然语言数据集。

    Feb, 2023

  • 关于 LAION-2B 数据去重的研究

    本文提出了一种算法链，能够对规模为 20 亿张图片的 LAION-2B 数据集进行有效的重复检测，并揭示了大量的版权问题，能够充分解决当前模型训练时所遇到的问题。

    Mar, 2023

  • DocNLI: 一个大规模的文档级自然语言推理数据集

    介绍了 DocNLI 数据集，它是基于广泛的 NLP 问题构建的，涵盖了文本的多种类型和文档层级上的 NLI，而不是仅仅句子层级上的。实验表明，即使没有微调，预训练于 DocNLI 上的模型在流行的句子级基准测试中表现良好，并且推理到文档层级上的跨域 NLP 任务具有良好的泛化性能。

    Jun, 2021

  • 将句子对 NLI 模型拓展至长文本和聚类的推理能力

    本研究探讨了 NLI 模型的直接零 - shot 应用，包括分析其对更长和越界输入的鲁棒性，开发新的聚合方法以操作完整文档，并在 ContractNLI 数据集上达到最先进的表现，并发现 NLI 分数提供强大的检索信号，并且比常见的相似性基于的方法提供更具相关性的证据提取。同时通过研究文档集群来鉴别不同来源之间的差异和共识，研究发现相同主题的维基百科页面在不同语言中存在实际不一致。

    Apr, 2022

  • Lion：闭源大型语言模型对抗蒸馏

    该研究提出了一种新的对抗蒸馏框架，通过在知识传输过程中使用反馈循环来提高学生模型的性能，成功地从 ChatGPT 模型向 Lion 模型进行知识传输，从而建立开源指令跟随语言模型的基线。

    May, 2023

  • LAION-400M：CLIP 过滤的 4 亿张图文对开放数据集

    这篇文章介绍了一个公共的数据集 LAION-400M，包含了 CLIP 过滤后的 4 亿对图片 - 文本配对、它们对应的 CLIP 嵌入以及 kNN 索引，能用于训练多模式语言视觉模型，进行零样本或少样本学习和迁移。

    Nov, 2021