2022年9月29日 组会报告摘要-02

本次组会汇报近期看的一个模型。2017 年，Google 在论文 Attention is All you need 中提出了 Transformer 模型，其使用 Self-Attention 结构取代了在 NLP 任务中常用的 RNN 网络结构。我会从Transformer整体结构的入手开始汇报。

Transformer 模型（Encoder-Decoder 架构模式

1.Transformer的inputs 输入

2.Transformer的Encoder

3 Transformer的Decoder

4 Transformer的输出

Transformer的结构图，拆解开来，主要分为图上4个部分，其中最重要的就是2和3Encoder-Decoder部分

以上内容都会在组会中详细介绍