Attention系列

type

status

date

slug

summary

一、Attention is all you need详细讲解

自从Attention机制在提出之后，加入Attention的Seq2Seq模型在各个任务上都有了提升，所以现在的seq2seq模型指的都是结合rnn和attention的模型。传统的基于RNN的Seq2Seq模型难以处理长序列的句子，无法实现并行，并且面临对齐的问题。所以之后这类模型的发展大多数从三个方面入手： ...

https://cloud.tencent.com/developer/article/1377062

详解Transformer （Attention Is All You Need）

注意力（Attention）机制[2]由Bengio团队与2014年提出并在近年广泛的应用在深度学习中的各个领域，例如在计算机视觉方向用于捕捉图像上的感受野，或者NLP中用于定位关键token或者特征。谷歌团队近期提出的用于生成词向量的BERT[3]算法在NLP的11项任务中取得了效果的大幅提升，堪称2018年深度学习领域最振奋人心的消息。而BERT算法的最重要的部分便是本文中提出的Tran...

https://zhuanlan.zhihu.com/p/48508221

Self-Attention和Transformer

it连接的权重最重的是 animal，这是从某一个侧面来看，那从另一个侧面来看，看绿色部分， it最关注的是 tired。橙色的注意力主要表明 it是个什么东西，从东西的角度说明它是一种动物，而不是苹果或者香蕉。如果我们从状态这个层面来看， it这个动物现在是在怎么样的一个状态，它的状态是 tired，而不是兴奋。所以不同的Self-Attention Head是不同方面的理解。

https://luweikxy.gitbook.io/machine-learning-notes/self-attention-and-transformer

Transformer代码实现：

Transformer：Attention Is All You Need

抛弃循环结构，完全基于注意力的模块--Attention is all you need.

https://asthestarsfalll.icu/2021/06/04/transformer/

Attention Model（注意力模型）学习总结

【NLP】Attention Model（注意力模型）学习总结

最近一直在研究深度语义匹配算法，搭建了个模型，跑起来效果并不是很理想，在分析原因的过程中，发现注意力模型在解决这个问题上还是很有帮助的，所以花了两天研究了一下。　　此文大部分参考深度学习中的注意力机制(2017版) ...

https://www.cnblogs.com/guoyaohua/p/9429924.html

二、Attention简介

Attention的核心逻辑就是「从关注全部到关注重点」。将有限的注意力集中在重点信息上，从而节省资源，快速获得最有效的信息。

2.1 Attention有三大优点：

参数少：模型复杂度跟 CNN、RNN 相比，复杂度更小，参数也更少。所以对算力的要求也就更小。

速度快：Attention 解决了 RNN 不能并行计算的问题。Attention机制每一步计算不依赖于上一步的计算结果，因此可以和CNN一样并行处理。

效果好：在长距离依赖问题上，Attention 能够挑重点，就算文本比较长，也能从中间抓住重点，不丢失重要的信息。

2.2 Attention计算方式

Attention用于计算"相关程度"，例如在翻译过程中，不同的英文对中文的依赖程度不同，Attention通常可以进行如下描述，表示为将query(Q)和key-value pairs映射到输出上，其中query、每个key、每个value都是向量，输出是V中所有values的加权，其中权重是由Query和每个key计算出来的，计算方法分为三步：

计算比较Q和K的相似度，用f表示如下：

将得到的相似度进行softmax归一化：

针对计算出来的权重，对V中所有的values进行加权求和计算，得到Attention向量

相似度的计算方法有六种：

点乘 dot product:

权重 general:

拼接权重 Concat:

感知器 Perceptron:

缩放点积 Scaled Dot-Product: （当输入向量维度过高，点积模型通常有较大的方差，从而导致softmax函数梯度很小，而缩放点积模型可以很好地解决这个问题）

三、Attention类型

【NLP】Attention Model（注意力模型）学习总结

https://www.cnblogs.com/guoyaohua/p/9429924.html

Soft Attention是所有的数据都会注意，都会计算出相应的注意力权值，不会设置筛选条件。

Hard Attention会在生成注意力权重后筛选掉一部分不符合条件的注意力，让它的注意力权值为0，即可以理解为不再注意这些不符合条件的部分。

3.1 普通Attention

我们可以这样来看待Attention机制：将Source中的构成元素想象成是由一系列的<Key,Value>数据对构成，此时给定Target中的某个元素Query，通过计算Query和各个Key的相似性或者相关性，得到每个Key对应Value的权重系数，然后对Value进行加权求和，即得到了最终的Attention数值。所以本质上Attention机制是对Source中元素的Value值进行加权求和，而Query和Key用来计算对应Value的权重系数。即可以将其本质思想改写为如下公式：

也可以将Attention机制看作一种软寻址（Soft Addressing）: Source可以看作存储器内存储的内容，元素由地址Key和值Value组成，当前有个Key=Query的查询，目的是取出存储器中对应的Value值，即Attention数值。通过Query和存储器内元素Key的地址进行相似性比较来寻址，之所以说是软寻址，指的不像一般寻址只从存储内容里面找出一条内容，而是可能从每个Key地址都会取出内容，取出内容的重要性根据Query和Key的相似性来决定，之后对Value进行加权求和，这样就可以取出最终的Value值，也即Attention值。

至于Attention机制的具体计算过程，如果对目前大多数方法进行抽象的话，可以将其归纳为两个过程：第一个过程是根据Query和Key计算权重系数，第二个过程根据权重系数对Value进行加权求和。而第一个过程又可以细分为两个阶段：第一个阶段根据Query和Key计算两者的相似性或者相关性；第二个阶段对第一阶段的原始分值进行归一化处理；这样，可以将Attention的计算过程抽象为如图10展示的三个阶段。