原文链接：https://www.toutiao.com/article/7204126292369965608/

原文出自：量子学派

引

ChatGPT的背后

ChatGPT红得发紫，强得让人类心悸。

但在它的背后，还隐藏着一位真正的大佬。

可以说，与它相比，ChatGPT其实只是他的一个跟班小弟。

或者说，只是它掌控家族中的一个比较靓的仔。

这位大佬自2017年问世以来，隐约已成为AI领域的基石王者。

它的名字叫做——Transformer！

Chat不重要，GPT 才重要

先拆解一下ChatGPT，它由Chat与GPT两部分组成。

聊天不重要，GPT才重要。

那什么是GPT，它的全英文是Generative Pre-trained Transformer。

翻译过来就是——生成式预训练的变形金刚。

先问ChatGPT——你是谁？

我是谁，它是这样解释的：

GPT是基于Transformer架构的预训练语言模型，可以生成自然语言文本。Transformer是基于自注意力机制的深度学习模型架构，它在自然语言处理领域中得到了广泛的应用，如机器翻译、文本分类和生成模型等。

GPT是基于Transformer模型的改进版本，主要是针对生成任务进行了优化，通过预训练学习自然语言的语义和语法规律，进而生成高质量的文本。

因此，GPT可以看作是Transformer模型在生成任务上的一个应用扩展。

短短的自我介绍中，ChatGPT就四次提到Transformer。

Transformer模型结构图

Transformer到底是什么，让ChatGPT如此迷恋？

这只变形金刚，到底是只什么怪兽？

强大的变形金刚Transformer

Transformer的定义清晰明了：

是用于自然语言处理（NLP）的神经网络架构。

在Transformer出现之前，人工智能研究领域百家争鸣。

Transformer出现之后，格局开始变了。

开始打压如日中天的循环神经网络（RNN）和卷积神经网络（CNN）。

以上图片来自网络，请原创者联络我们

Transformer架构使用了注意力机制，能够处理长序列的依赖关系。

这让它具有以下明显优点：

❶并行计算：由于自注意力机制的引入，Transformer可以实现并行计算，加快训练速度。

❷长序列处理：相比传统的循环神经网络和卷积神经网络，Transformer可以处理更长的序列，这是由于自注意力机制可以学习到全局的序列信息。

❸模块化结构：Transformer由编码器和解码器两部分组成，每部分都包含了多层相同的模块，这种模块化结构使得Transformer更易于扩展和调整。

Transformer在各种任务中的表现,也将不断得到改善和优化，发展日新月益。

以上图片来自网络，请原创者联络我们

自2017年推出之后， Transformer 已经形成了自己的家族体系。

基于GPT架构，ChatGPT就隐藏在GPT-3的后面。

现在你就明白，它为什么叫变形金刚了。

它的确是可以演变成各种不同的角色，而且个个都挺厉害。

GPT与Web3.0结合优势

2022年3月17日,中国证监会科技监管局局长姚前在《中国金融》发表文章《Web3.0:渐行渐近的新一代互联网》。文中指出，如今互联网正处在Web2.0向Web3.0演进的重要时点，加强Web3.0前瞻研究和战略预判，对我国未来互联网基础设施建设无疑具有重要意义。

智能生态网络IEN（Intelligent Eco Networking）是一种知识驱动的未来价值互联网新型架构方案，由北京大学深圳研究生院《深圳市内容中心网络与区块链重点实验室ICNLAB》主任雷凯团队在2018年IEEE HotICN国际会议上首次提出。IEN基于虚拟化、可编程设备、软硬结合的技术路线，改进信息中心网络构架构，综合分布式人工智能分析决策与区块链共识计算技术，考量存储、计算与带宽网络资源成本/效益指标，构建层次化、智能化、语义化的新型智联网络先进构架。

IEN :
1st edition IEN paper (a position paper), 2018.08:《Intelligent Eco Networking (IEN): an Advanced Future Internet of intelligence for Digital Social Economic Ecosystem》；
2nd edition IEN paper, 2019.12:《Intelligent Eco Networking (IEN) II: A Knowledge-Driven Future Internet Infrastructure for Value-Oriented Ecosystem》;
Chinese Edition of IEN (Full)，2020.01:《Intelligent Eco Networking (IEN): Knowledge-Driven and Value-Oriented Future Internet Infrastructure》
3rd edition IEN paper, 2020.12, 《Intelligent Eco Networking (IEN) III: A Shared In-network Computing Infrastructure towards Future Internet》.
4th add-on IEN paper, 2021.11, 《A Cooperative Game Theory and Blockchain based Elastic Bilateral Task Allocation Algorithm for In-network Computing》

Video Tutorial
2021 4th IEEE HotICN 国际学术会议上，北京大学雷凯做学术报告《智能生态网络（Intelligent Eco Networking）2021 基于价值数据NFT的开放可信数字底座》；
①《区块链风险更复杂多样，需要建立标准与监管共识》2017年1月27日，胡润金融科技大会;
②《区块链：阿凡达文明的缔造之魂，信息中心网络：潘多拉世界砥砺之基》，2018年3月2日，CCF;
③《块游记：区块链如何与NDN等未来网络基础设施结合？》，2018年11月25日;
④《IEN II: 知识驱动的边缘智能生态网络设想及初探》,2019年5月23日，南京未来网络大会;
⑤《面向5G的命名数据网络物联网研究综述》，计算机科学, 2020年;
⑥《智能生态网络:知识驱动的未来价值互联网基础设施》, 应用科学学报，2020年1月;
⑦《面向边缘人工智能计算的区块链技术综述》，应用科学学报，2020年1月;
⑧《IEN III: 5G 边缘算力网络》，2020年6月4日，南京未来网络大会；
⑨《IEN 3.X: 区块链与命名机制在未来网络体系结构中的先进原理》，21年6月，南京未来网络大会;

在GPT的应用方面，Web3.0可以通过将GPT与区块链技术结合，实现去中心化的语言生成和自然语言处理应用，以确保用户数据隐私和安全。

统一自然语言NLP

人工智能的一大研究方向，首先是自然语言处理NLP领域。

自从Transformers出现后，全球NLP领域的人工智能的工程师们望风景从。

Transformers在该领域的进展所向披靡，不可阻挡，原因如下：

❶模型大小和训练数据规模的增加：大规模的Transformers模型，如GPT-3.5、bert、T5等，有些模型参数量达到千亿级别，具有更强表达能力。

❷多语言和跨语言应用：由于Transformers模型具有更强泛化能力，因此可以被应用于多语言和跨语言任务，如机器翻译、跨语言文本分类等。

❸与其他模型的结合和拓展：与其他模型结合使用，如结合卷积神经网络（CNN）或循环神经网络（RNN）进行多模态学习等。

❹解释性和可解释性：随着越来越多的机器学习算法被应用于实际场景，对于模型的解释性和可解释性要求也越来越高。

LLM成长的时间线

在自然语言处理NLP领域，总体的趋势是：

LSTM/CNN→Transformer

NLP领域分为两大不同类型的任务：

❶理解类人工智能

❷生成式人工智能

这两个领域的研发，已经收敛到了两个不同的预训练模型框架里：

❶自然语言理解，技术体系统一到了以Bert为代表的“双向语言模型预训练+应用Fine-tuning”模式；

❷自然语言生成类任务，其技术体系则统一到了以GPT为代表的“自回归语言模型（即从左到右单向语言模型）+Zero /Few Shot Prompt”模式。

而这两大模型都是基于Transformers，而且两者也出现了技术统一趋向。

在自然语言处理NLP这个领域，Transformer基本上已经一统天下。

以至于那些还沉迷于CNN，RNN的工程师被警告：

放弃战斗吧，向Transformer投降！

藏不住的野心：

统一计算机视觉CV

除了NLP，人工智能的另一分支是计算机视觉CV。

Transformer最开始，只是专注于自然语言的处理。

NLP曾经落后于计算机视觉，但是Transformer的出现迅速地改变了现状。

一出生就风华正茂，用来形容Transformer毫不为过。

它催生了一大批举世瞩目的模型，达到了令人类不安的程度。

随着Transformer统一了NLP，计算机视觉领域显然受到了启发。

一直沉迷于CNN神经网络中的科学家，开始想知道Transformer是否可以在计算机视觉方面取得类似的效果。

不试不知道，一试吓一跳。

Transformer在计算机视觉领域同样治疗效果明显：

❶图像分类

ViT（Vision Transformer）是一种将 Transformer 应用于图像分类的模型。在 ImageNet 等基准数据集上取得了与卷积神经网络（CNN）相媲美的结果。

❷目标检测

DETR（DEtection TRansformer）是基于 Transformer 的目标检测模型。DETR 在 COCO 数据集上取得了与 Faster R-CNN 方法相当的结果。

❸语义分割

Transformer 可以用于语义分割任务，其中每个像素被视为一个 token。在 Cityscapes、ADE20K 和 COCO-Stuff 等数据集上取得了领先的结果。

以上例子都是Transformer的应用，它在计算机视觉领域也是虎视耽耽。

花8分钟时间，

拆解Transformer这只变形金刚

Transformer为何如此强大，我们花8分钟来解剖它。

以下内容来自Jay Alammar：

Transformers可以被看做一个黑盒，以文本翻译中的法-英翻译任务为例，这个黑箱接受一句法语作为输入，输出一句相应的英语。

那么在这个黑盒子里面都有什么呢？

里面主要有两部分组成：Encoder 和 Decoder。

输入一个文本的时候，该文本数据会先经过一个叫Encoders的模块，对该文本进行编码。然后将编码后的数据再传入一个叫Decoders的模块进行解码，解码后就得到了翻译后的文本。

Encoders为编码器，Decoders为解码器。

细心的同学可能已经发现了，上图中的Decoders后边加了个s，那就代表有多个编码器了呗，没错，这个编码模块里边，有很多小的编码器，一般情况下，Encoders里边有6个小编码器，同样的，Decoders里边有6个小解码器。

在编码部分，每一个的小编码器的输入，是前一个小编码器的输出。而每一个小解码器的输入，不光是它的前一个解码器的输出，还包括了整个编码部分的输出。

那每一个小编码器里边又是什么呢？

放大一个encoder，发现里边的结构是一个自注意力机制+一个前馈神经网络。

先来看下Self-attention是什么样子的。

通过几个步骤来解释：

(1) 首先，Self-attention的输入就是词向量，即整个模型的最初的输入是词向量的形式。自注意力机制，顾名思义就是自己和自己计算一遍注意力，即对每一个输入的词向量，我们需要构建Self-attention的输入。

(2) 接下来就要计算注意力得分了，这个得分是通过计算Q与各个单词的K向量的点积得到的。以X1为例，分别将Q1和K1、K2进行点积运算，假设分别得到得分112和96。

(3) 将得分分别除以一个特定数值8（K向量的维度的平方根，通常K向量的维度是64）这能让梯度更加稳定。

(4) 将上述结果进行softmax运算得到，softmax主要将分数标准化，使他们都是正数并且加起来等于1。

(5)将V向量乘上softmax的结果，这个思想主要是为了保持我们想要关注的单词的值不变，而掩盖掉那些不相关的单词。

(6) 将带权重的各个V向量加起来，至此，产生在这个位置上（第一个单词）的Self-attention层的输出，其余位置的Self-attention输出也是同样的计算方式。

将上述的过程总结为一个公式就可以用下图表示：

Self-attention层到这里就结束了吗？

还没有，论文为了进一步细化自注意力机制层，增加了“多头注意力机制”的概念，这从两个方面提高了自注意力层的性能。

第一个方面，它扩展了模型关注不同位置的能力，这对翻译一下句子特别有用，因为我们想知道“it”是指代的哪个单词。

第二个方面，它给了自注意力层多个“表示子空间”。对于多头自注意力机制，不止有一组Q/K/V权重矩阵。

经过多头注意力机制后，就会得到多个权重矩阵Z，我们将多个Z进行拼接就得到了Self-attention层的输出：

上述我们经过了self-attention层，我们得到了self-attention的输出，self-attention的输出即是前馈神经网络层的输入，然后前馈神经网络的输入只需要一个矩阵就可以了，不需要八个矩阵，所以我们需要把这8个矩阵压缩成一个，我们怎么做呢？只需要把这些矩阵拼接起来然后用一个额外的权重矩阵与之相乘即可。

最终的Z就作为前馈神经网络的输入。

接下来就进入了小编码器里边的前馈神经网模块了。

然后在Transformer中使用了6个encoder，为了解决梯度消失的问题，在Encoders和Decoder中都是用了残差神经网络的结构，即每一个前馈神经网络的输入，不光包含上述Self-attention的输出Z，还包含最原始的输入。

上述说到的encoder是对输入（机器学习）进行编码，使用的是自注意力机制+前馈神经网络的结构，同样的，在ecoder中使用的也是同样的结构。

以上，就讲完了Transformer编码和解码两大模块，那么我们回归最初的问题，将“Je suis etudiant”翻译成“I am a student”，解码器输出本来是一个浮点型的向量，怎么转化成“I am a student”这两个词呢？

这个工作是最后的线性层接上一个Softmax，其中线性层是一个简单的全连接神经网络，它将解码器产生的向量投影到一个更高维度的向量（logits）上。

假设我们模型的词汇表是10000个词，那么logits就有10000个维度，每个维度对应一个惟一的词的得分。之后的Softmax层将这些分数转换为概率。选择概率最大的维度，并对应地生成与之关联的单词作为此时间步的输出就是最终的输出啦！！

假设词汇表维度是6，那么输出最大概率词汇的过程如下：

以上就是Transformer的框架了，但是还有最后一个问题，我们都是到RNN中的每个输入是时序的，是又先后顺序的，但是Transformer整个框架下来并没有考虑顺序信息，这就需要提到另一个概念了：“位置编码”。

Transformer中确实没有考虑顺序信息，那怎么办呢，我们可以在输入中做手脚，把输入变得有位置信息不就行了，那怎么把词向量输入变成携带位置信息的输入呢？

我们可以给每个词向量加上一个有顺序特征的向量，发现sin和cos函数能够很好的表达这种特征，所以通常位置向量用以下公式来表示：

Transformer，

在AI领域能形成大统一理论吗？

从以上技术可以看出：Transformer是通用深度学习模型。

它的适用性非常强，原因在于它的自注意力机制（self-attention mechanism），可以更好地处理序列数据。

那这里就要谈一个更前沿的技术：跨模态。

也就是人工智能领域，能否创造一个可以处理语言、文字、图片、视频的大统一模型。

如果在物理世界，那就有点像爱因斯坦追求的“大统一理论”。

在跨模态应用中，Transformer模型通常使用图像和文本特征作为输入信息。

❶使用自注意力机制来学习两个模态之间的关系。

❷使用多模态自注意力机制（multi-modal self-attention）来处理多个模态之间的关系。

Transformer应用于跨模态任务的效果非常好，在跨模态上取得成功的几个例子：

CLIP：CLIP是一种使用 Transformer 的联合训练框架，同时使用图像和文本来预训练模型。该模型能够将自然语言描述和图像联系起来，在多个视觉推理任务上取得了非常出色的表现。

DALL-E：DALL-E 是 OpenAI 发布的一个模型，该模型通过预训练得到了非常强大的生成能力，在生成包括飞行的大象、色彩斑斓的沙漏等具有挑战性的图像时表现出色。

通过DALL-E生成的图像

AI绘画的老玩家一定知道这两个产品。

Transformer在各个方向上齐头并进，形成了庞大的Transformer家族。

那么，Transformer会在AI领域能形成大统一理论吗？

现在得出这样的结论为时过早，AI领域应用非常复杂，需要结合各种技术和算法才能解决，期待单一的模型解决所有问题，有点难。

但人类对于AGI的期待，又是实实在在的。

目前，已有面向混合天机芯片架构的人工通用智能（AGI，强人工智能）的论文在Nature上发表，我们不难想象AGI和区块链在未来的结合，比如：利用区块链实现AGI之间的协作和竞争，形成一个多智能体的生态系统。

ICNLAB实验室在IEEE 1st HotICN 2018 国际会议上自主提出的“智能生态网络IEN”——以知识数据为中心、知识智能为理论的分布式信任与价值维护新型网络架构，创新性地将信息中心网络、区块链和分布式人工智能网络控制等技术交叉集成，提出一种可持续演进并向后兼容的5G边缘算力服务架构方案，先后获得两次最佳论文。实验室团队一直持续专注于IEN架构的拓展深入，并开源了代码，先后迭代3个重要版本。智能生态网络（Intelligent Eco Networking，简称IEN）融合区块链、AI和5G网络技术优势为一体，面向Web3.0将呈现新商业模式。IEN将提供价值数据内容权益治理的基础协议，催生跨地域、碳中和的分布式“东数西算”市场形态，推动云、链、算、数、网集成为下一代互联网“新型网络体系结构与技术（ICENAT）”的发展。