Mar, 2024

通过信息流展示相互增强效应

PDF
TL;DR互相增强效应 (Mutual Reinforcement Effect) 研究了文本分类任务中词级别和文本级别分类之间的协同关系，探讨了两个分类级别的互相促进性能的机制。使用信息流分析来观察和验证了互相增强效应理论，并将其应用于提示学习，以加强模型对文本级别分类标签的预测，实验证实了词级别信息增强整体文本理解的观点。
mutual reinforcement effectword-level classificationtext-level classificationinformation flow analysisprompt learning
发现论文，激发创造
  • 日本语句子分类和命名实体识别任务中的相互增强效应

    信息抽取是自然语言处理中一个关键领域，本研究提出了一个多任务学习方法，通过整合句子分类和命名实体识别，揭示了这两个信息抽取子任务之间的相互增强效应。结果显示，整合增强了句子分类和命名实体识别的性能，并且实验证明了该方法的有效性。

    Jul, 2023

  • 利用信息筛选进行多模态关系抽取！采用特征去噪和多模态主题建模技术

    我们提出了一种新颖的框架，该框架同时实现了内部信息筛选和外部信息利用的想法，通过对图形信息瓶颈原则的引导进行结构细化，将视觉和文本场景图进一步融合成统一的跨模式图形 (CMG)，通过加入潜在多模态主题特征来丰富语境，在基准 MRE 数据集上，我们的系统显着优于当前最佳模型。

    May, 2023

  • 跨模态检索和综合的多模式关系抽取

    本研究提出了一种多模态关系抽取方法，通过检索对象、句子和整个图像的文本和视觉证据，综合考虑了同一和不同模态之间的信息，从而比现有的方法更准确地识别语义关系并显著提高了效果。

    May, 2023

  • GIELLM：利用相互增强效应的日语通用信息抽取大型语言模型

    信息抽取是自然语言处理中的基石，传统上被细分为不同的子任务。大型语言模型的出现预示着一种新的范式转变，即单一模型能够解决多个信息抽取子任务。本文引入通用信息抽取大型语言模型（GIELLM），它通过统一的输入输出架构整合了文本分类、情感分析、命名实体识别、关系抽取和事件抽取。这次创新标志着一个模型首次同时处理如此多样的信息抽取子任务。值得注意的是，GIELLM 利用了互相增强效应（MRE），在综合任务中提高了性能，与各自孤立的任务相比。我们的实验证明，在六个日语混合数据集中，我们在五个数据集中取得了最先进的结果，明显超过了 GPT-3.5-Turbo。此外，使用新颖的文本分类关系和事件抽取（TCREE）数据集进行的独立评估证实了 MRE 在文本和词分类中的协同优势。这一突破为大多数信息抽取子任务在一个统一的 LLM 框架下合并提供了可能，不再需要专门的微调任务特定模型。

    Nov, 2023

  • 大型语言和强化学习模型相互增强的双向反馈机制：以案例研究为例

    大型语言模型和强化学习模型合作的教师 - 学生学习框架，通过递归互助的方式，实现了抽象信息的供给和实时反馈的互利循环，从而推动大型语言模型和强化学习模型在协同多智能体环境中的优化、探索和互相改进。

    Jan, 2024

  • 自监督学习中的信息流

    本文通过矩阵信息理论的视角提供了一个全面的工具箱，用于理解和增强自监督学习方法，其中包括对比方法、特征去相关方法的统一分析，并提出了基于矩阵信息理论的矩阵变分掩膜自编码器 (M-MAE) 方法作为对掩膜图像建模的一种增强方法。经验证实，M-MAE 相对于最先进方法，在 ImageNet 上线性探测 ViT-Base 性能提升了 3.9%，微调 ViT-Large 性能提升了 1%。

    Sep, 2023

  • 基于变分信息瓶颈的多模态实体与关系抽取增强

    文章研究了多模态命名实体识别和多模态关系提取的方法，并提出了一种基于信息瓶颈的多模态表示学习方法，该方法在三个公共基准测试上取得了最先进的性能。

    Apr, 2023

  • 在检索增强生成框架中使用经过微调的大型语言模型进行关系抽取

    Fine-tuned large language models integrated into the Retrieval-Augmented-based approach demonstrate exceptional performance in identifying implicit relations, surpassing previous results on SemEVAL and achieving substantial gains on TACRED, TACREV, and Re-TACRED datasets.

    Jun, 2024

  • 对比学习中互信息的严谨分析

    对比学习通过互信息分析的深入研究，引入了三种新方法和一些相关定理，以增强互信息分析的严谨性，并通过重新评估对比学习分析的三个实例，展示了它们在加深理解或纠正误解方面的能力。

    Aug, 2023

  • 多模式学习系统中的互信息分析

    本文研究了多模态信号处理和分析的应用，通过利用信息计量的概念和 InfoMeter 系统，分析了自动驾驶的大规模数据集中的多模态 3D 物体检测系统，并提出了低模态间信息量对于检测准确性有益的新见解。

    May, 2024