Aug, 2023

实证翻译过程研究：过去和可能的未来视角

PDF
TL;DR过去四十年中，对实证式翻译过程研究（TPR）模型的发展与评估进行了努力，但一个全面的框架仍然难以捉摸。本文追溯了 CRITT TPR-DB 传统中实证 TPR 的演变，并提出了自由能原理（FEP）和主动推理（AIF）作为模拟深度嵌入式翻译过程的框架。它介绍了量化关联理论（关联性，s 模式，i 模式）基本概念的新方法，并建立了它们与监控模型的关系，将关联性最大化视为最小化自由能的特例。FEP/AIF 提供了一个数学严谨的基础，能够对不同时间轴上展开的嵌入式翻译过程进行建模。这一框架为未来的预测性 TPR 研究开辟了令人兴奋的前景，有望丰富我们对人类翻译过程的理解，并为翻译研究和认知架构设计作出宝贵的贡献。
发现论文，激发创造
  • 一个活跃推理代理人，在层次结构中模拟人类翻译过程：整合任务片段框架和 HOF 分类方法

    我们提出将人类翻译生产建模为三个嵌套的翻译过程的层次结构，通过模拟传感运动、认知和现象学层面上的按键生产的时间动态，利用来自 CRITT TPR-DB、Task Segment Framework 和 HOF 分类法的数据，我们展示了这三个层面上不同时间线上的打字流程的分解。

    May, 2024

  • 实现综合性主动推理代理，第一部分：认识目标和图形化规范语言

    本文介绍了 Active Inference (AIF) 作为 Free Energy Principle (FEP) 的一个结果，并给出了一个利用特定自由能泛函的局部版本的 FEP，使其适用于任意图形模型，为构建具有限制的平衡图提供了一种新的途径。同时，还介绍了利用 CFFG 实现 AIF 的先前算法，并介绍了一种允许 AIF 代理的直接策略推断的新算法，以解决长期以来阻碍 AIF 在工业应用中发挥作用的扩展问题。

    Jun, 2023

  • 极简主动推理代理

    介绍了自由能原理与活动推断关键思想，并利用基于代理的模型进行模拟实验，以进一步探讨其在一维离散世界预测中的应用。

    Mar, 2015

  • 自然语言句法符合自由能原理

    本文基于自由能原理，提出利用语言的组合结构进行有效推断。作者试图用最小搜索的方法解决语言形成的计算问题，并提出了一种新的语言设计原则 —— 图灵 - 乔姆斯基压缩。研究结果为理论语言学和心理语言学提供了实证基础。

    Oct, 2022

  • 实现合成主动推论代理，第二部分：变分信息更新

    该论文使用消息传递的方法，在因子图上最小化了主题中的自由能而产生了人工智能的行为。

    Jun, 2023

  • 自由能原理的神经网络实现

    本文是关于自由能原理的计算模型和机器学习中的应用尝试，提出了使用经典的神经网络模型 Helmholtz 机连接自由能原理和机器学习，并通过实验验证了假设。

    Jun, 2023

  • 行动和感知的自由能原理：一个数学回顾

    本文介绍了自由能原理在大脑科学中的应用，结合视知觉、机器学习以及统计热力学等领域的理论，提供了一种生物学上可行的自由能实现方案的数学评估及其物理结构，旨在揭示自由能原理实现方案对大脑科学的重要性。

    May, 2017

  • 透过表征镜头观察多语言机器翻译中的知识转移

    该研究认为，单纯使用翻译质量度量多语言神经机器翻译中的知识转移并不足够。为了支撑这一观点，引入了 “表示转移潜力”（RTP），用于衡量不同语言之间的表示相似性，并发现 RTP 可测量正向和负向的迁移（干扰），并且 RTP 与翻译质量变化强相关。除此之外，还研究了影响迁移的数据和语言特征，并认为多重并行重叠是一个重要而未被充分利用的特征。基于此，开发了一种新型训练方案，使用辅助相似性损失，通过利用多重并行数据鼓励表示在不同语言之间更具不变性。证明这种方法可提高多种数据和模型情况下低资源语言的翻译质量。

    May, 2023

  • 期望自由能的重新框架：四种表述和一个统一

    通过对单个根期望自由能定义的问题进行形式化，本文研究了两个设置，其中每个设置都有其自己的根期望自由能定义。在第一个设置中，尚未提出任何关于期望自由能的正当化，但所有公式都可以从中恢复出来。然而，在这个设置中，代理不能对观测进行任意先验偏好，只有与生成模型的似然映射相兼容的观测先验偏好的有限类才能赋予。在第二个设置中，已经知道根期望自由能定义的正当化，但该设置仅涵盖两种表达方式，即风险加上不确定性和熵加期望能量的表达方式。

    Feb, 2024

  • 语言表征投射：我们能在多语言语言模型中跨语言转移事实知识吗？

    通过两个无参数的语言表示投影模块（LRP2），本文调查了从英语到非英语语言的显式传输相对丰富的事实知识的可行性，并在 mLAMA 数据集上的实验结果证明了 LRP2 显著提高了事实知识检索精度，促进了对多种非英语语言的知识传递能力。

    Nov, 2023