Transformer
在大模型时代下,Transformer是如何击败RNN,成为NLP领域的主流架构的?让我们一起探索Transformer的奥秘吧!
更新于：
Transformer模型
1 Transformer背景
模型被提出时间：
1 | 2017年提出，2018年google发表了BERT模型，使得Transformer架构流行起来，BERT在许多NLP任务上，取得了Soat的成就。 |
模型优势：
1 | 1、能够实现并行计算，提高模型训练效率 |
2 Transformer的模型架构
架构图展示：
2.1 整体架构
主要组成部分
1 | 1、输入部分 |
2.2 输入部分
1 | word Embeddding + Positional Encoding |
2.3 输出部分
1 | 1、Linear层 |
2.4 编码器部分
结构图：
组成部分：
1 | 1、N个编码器层堆叠而成 |