AI2050 参与讨论

MECHANISTIC INTERPRETABILITY · 2021—2026

行业进展

研究范围

追踪 OpenAI、Google DeepMind 与 Anthropic 在深度神经网络内部机制研究上的公开进展。

公开研究时间范围：2021 年—2026 年 · 更新至 2026 年 8 月 13 日

3RESEARCH LABS
OpenAI DeepMind Anthropic

THREE RESEARCH ROUTES

三家公司研究进展

按公开发布时间梳理各自的研究主题、代表成果和工具演化。

01

OpenAI

从神经元解释到可解释电路训练

研究路线从识别单个神经元的响应，扩展到自动解释、大规模稀疏特征、因果转向，以及直接训练结构更稀疏的 Transformer。

神经元解释稀疏特征因果转向权重稀疏
访问 OpenAI Research ↗
  1. Multimodal Neurons在 CLIP 中识别跨图像、文字与符号响应的抽象神经元，并展示文字覆盖图像产生的攻击现象。
  2. Language Models Can Explain Neurons用 GPT-4 自动描述并测试 GPT-2 的 307,200 个神经元，建立“解释—预测激活—评分”流水线。
  3. Scaling and Evaluating Sparse Autoencoders使用 k-sparse SAE 在 GPT-4 中训练出约 1,600 万个潜在特征，并研究特征质量的扩展规律。
  4. Persona Features比较微调前后的 GPT-4o，识别与涌现失调人格相关的方向，并通过增强或抑制改变模型行为。
  5. Weight-sparse Transformers从训练开始限制多数连接为零，在若干算法任务中获得规模更小、必要性与充分性更清晰的电路。
02

Google DeepMind

真值校准、因果定位与开放显微镜

研究重点覆盖内部算法真值已知的实验平台、行为组件定位、稀疏字典改进，以及面向 Gemma 全系列的开放解释工具链。

真值实验室因果定位SAE跨层工具
访问 Google DeepMind Research ↗
  1. Tracr把人类可读程序编译成 Transformer，为计数、排序和括号检查等任务提供内部算法真值。
  2. Schema-learning and Rebinding在可解释因果图模型中研究模板电路、条件检索，以及新 token 与模板槽位的重新绑定。
  3. AtP*用梯度近似加速 Activation Patching，修复两类假阴性，并给出剩余误差估计。
  4. Gated SAE、JumpReLU 与 Gemma Scope改进稀疏字典的重构—稀疏度前沿，并为 Gemma 2 多个规模和层发布数百个 SAE。
  5. Gemma Scope 2覆盖 Gemma 3 从 270M 到 27B，并加入 SAE、Skip Transcoder 与跨层转码器。
03

Anthropic

从电路语言到跨层计算与全局工作区

公开研究覆盖残差流和注意力电路、叠加与单义特征、跨层归因图、几何计算，以及面向未来输出的可言说表示空间。

Transformer 电路叠加特征跨层归因全局工作区
访问 Transformer Circuits Thread ↗
  1. Transformer Circuits Framework把残差流描述为共享通信通道，并用 QK、OV、组合电路和虚拟权重建立分析语言。
  2. Induction Heads 与 Superposition研究重复模式复制电路、稀疏特征叠加、特权基，以及单义特征分解。
  3. Scaling Monosemanticity从 Claude 3 Sonnet 中提取数百万级特征，并研究跨语言、跨模态和安全相关特征。
  4. 跨层电路、QK 交互与流形计算推进跨层转码器、归因图、两跳事实路径、QK 双线性交互、机制不忠实和计数流形研究。
  5. 自然语言自编码器与 Global Workspace研究激活与自然语言之间的双向重构，并用 J-lens 分析面向未来输出、可被下游读写的子空间。

SHARED DISCOVERIES

行业共同积累的 14 块拼图

把三家公司的公开成果放在一起，可以看到从表示、路由到跨层计算逐步形成的一组共同机制线索。

01—03

通信与路由

残差流承担共享通信；注意力的 QK 决定读取位置，OV 决定搬运内容；归纳头能够复制重复模式。

残差流 · QK/OV · 归纳头
04—07

混义与特征字典

神经元普遍混义，特征能够叠加；SAE 可以恢复更单义的方向，但字典依赖数据、宽度和目标函数。

Superposition · SAE · 字典依赖
08—10

跨层与多跳运输

同一功能状态可以跨层、跨位置和跨注意力头分布；局部计算、运输路径和多跳中间状态需要联合观察。

跨层 · 跨位置 · 中间状态
11

并行与补偿路径

模型经常同时使用多条启发式路径。删除单一路径后，行为可能由冗余或补偿电路继续完成。

并行启发式 · 冗余 · 补偿
12—13

流形与工作区

离散特征和连续流形可能是同一结构的不同描述；部分状态进入面向未来输出、容易被下游读写的工作区。

连续流形 · J-space · 广播
14

机制忠实性

高质量重构和正确输出预测不保证恢复真实计算，替代模型仍可能通过不同机制得到相同答案。

重构边界 · 因果验证 · 机制保真

INDUSTRY ANALYSIS

研究路线的共同演化

行业关注点正在从“哪个神经元响应什么”，转向“信息怎样被构造、路由、运输，并在下游产生可验证作用”。

STAGE 01

从神经元到特征

单神经元解释逐渐让位于稀疏特征、方向和流形。研究规模从少量人工案例扩展到千万级候选特征。

STAGE 02

从特征到电路

研究不再只问“表示在哪里”，而是联合分析 QK/OV、跨层转码器、归因图和多跳运输路径。

STAGE 03

从重构到机制验证

准确重构不再被视为充分证据。已知真值模型、因果干预、路径删除和机制忠实性成为核心校验手段。

公开证据边界当前可确认的范围
没有公开定律

解释复杂度必然平方增长

公开研究确认完整覆盖成本很高，但没有建立普适的参数平方定律。

不能直接推出

所有特征和流形都是副产品

特征可视化可能产生假象，但自然输入和因果干预已经确认部分结构具有功能作用。

持续研究中

顶尖实验室已经放弃内部逆向

稀疏电路、Gemma Scope 2、跨层电路与 Global Workspace 均显示研究仍在推进。