用通俗易懂的语言理解变压器架构

变压器已经彻底改变了人工智能的格局，特别是在自然语言处理和生成性人工智能领域。本文旨在将变压器架构的复杂性分解为易于理解的概念，使其对想要了解现代人工智能系统基础的专业人士更具可及性。

变压器的崛起

2017年，Vaswani等人推出变压器模型，标志着人工智能领域的重大转折点。与依赖于递归神经网络（RNN）的早期模型不同，变压器利用了一种称为自注意力的新机制。这一转变使得对大量数据的处理更加高效，推动了翻译、摘要等任务的进展。

关键要点：

• 变压器于2017年推出，改变了人工智能的数据处理方法。
• 它们使用自注意力机制而不是递归神经网络。
• 它们的架构允许有效处理大数据集。

变压器架构是什么？

变压器架构的核心由编码器和解码器组成。编码器处理输入数据，而解码器生成输出。两个组件由包括注意力机制和前馈神经网络的层组成。让我们深入探讨这些组件。

编码器

编码器的主要角色是读取和理解输入序列。它由几层组成，每层有两个主要部分：

1. 自注意力机制： 这使得模型能够权衡输入序列中不同单词的重要性，无论它们的位置如何。例如，在句子“猫坐在垫子上”中，模型可以识别“猫”和“垫子”是相关的，即使它们被其他单词分隔开。
2. 前馈神经网络： 在自注意力之后，数据经过前馈网络进行进一步处理。这一步对捕捉数据中的复杂模式至关重要。

解码器

解码器的功能与编码器类似，但有一项重大区别：它一次生成一个单词的输出序列。解码器的每一步依赖于之前生成的单词，使其成为一个顺序过程。与编码器一样，解码器也使用自注意力和前馈网络，但它还包括一个额外的层，关注编码器的输出，确保生成的文本是连贯且上下文相关的。

关键要点：

• 变压器模型由编码器和解码器组成。
• 编码器利用自注意力理解输入序列。
• 解码器顺序生成输出，依赖于先前生成的单词。

自注意力：变压器的核心

自注意力机制使得变压器能够同时考虑序列的整个上下文。这与RNN形成鲜明对比，后者逐步处理序列，导致处理时间更长以及捕获长距离依赖的困难。

在自注意力中，输入序列中的每个单词都被转换为三个向量：查询、键和值。这些向量之间的关系决定了在编码信息时每个单词应获得多少关注。其结果是加权表示，捕捉了整个序列中意义的细微差别。

关键要点：

• 自注意力允许同时考虑上下文。
• 它克服了RNN在捕捉长距离依赖方面的局限性。
• 每个单词通过查询、键和值进行表示，计算关系。

位置信息编码的作用

变压器面临的一个挑战是缺乏固有的序列顺序，因为自注意力机制对所有单词平等对待，无论它们的位置。为了解决这个问题，变压器利用位置信息编码，将每个单词在序列中的位置的信息注入模型。这样的编码使得模型能够区分那些由于自注意力机制而可能相似的单词。

位置信息编码可以被视为输入序列中每个位置的数学表示。这使得变压器能够纳入单词的顺序，增强对上下文的理解。