【TheAnnotatedTransformers】Transformer的位置编码-程序员宅基地

技术标签： The Annotated Transformer 深度学习 transformer 人工智能

文章目录

为什么需要位置编码
什么是(三角式位置编码)Sinusoidal Position Embedding
为什么有效果
- 直觉上
相对位置
参考博客：

为什么需要位置编码

略

什么是(三角式位置编码)Sinusoidal Position Embedding

三角位置编码属于绝对位置编码的一种。更多PE知识可以参考:链接
此部分原文请参考:Transformer Architecture: The Positional Encoding
理想情况下，位置编码应该满足如下条件：

它应该为每个时间步长(句子中单词的位置)输出唯一的编码
任意两个时间步之间的距离在不同长度的句子中应该保持一致
我们的模型应该无需任何努力就能推广到更长的句子并且其值应该是有界的
必须是确定的

在Attention is all you need 原文中提出了该方法。具体表达形式如下：
$t$ 是输入句子所期望的位置，也就是token的位置， $\overrightarrow{ {p}_{t}}\in {\mathbb{R}}^{d}$ 是位置编码
在这里插入图片描述
其中
${\omega }_{k}=\frac {1} { {10000}^{\frac {2k} {d}}}$
$d$ 表示模型隐藏层维度，从函数定义可以看出，频率沿着向量维度递减，因此它在波长上形成从 $2{\pi}$ 到 $1000\cdot2\pi$ 的几何级数( $波长=2\pi/频率$ )

同时，也可以将位置嵌入向量 $\overrightarrow{ {p}_{t}}$ ，其中包含每个频率的 $s in$ 、 $cos$ 对。
$\overrightarrow{ {p}_{t}}= \left[ \begin{matrix} sin({\omega}_{1}\cdot{t}) \\ cos({\omega}_{1}\cdot{t}) \\ sin({\omega}_{2}\cdot{t}) \\ cos({\omega}_{2}\cdot{t}) \\ .\\ .\\ .\\ sin({\omega}_{d/2}\cdot{t})\\ cos({\omega}_{d/2}\cdot{t})\\ \end{matrix} \right] _{d\times1}$

为什么有效果

直觉上

正弦和余弦这种组合如何表示位置/顺序呢？
假设用二进制格式来表示一个数字：
在这里插入图片描述
You can spot the rate of change between different bits. The LSB bit is alternating on every number, the second-lowest bit is rotating on every two numbers, and so on.（原文）

但是在浮点数的世界中，使用二进制值会浪费空间。因此，我们可以使用它们的浮点连续对应物——正弦函数。事实上，它们相当于交替的位。
结合下图，来理解一下这样设计的含义。每一行都代表了一个token，每一列代表了每个token都第i个未知元素。随着频率不断减小，则波长不断变大，此时正余弦函数对t的变动越不敏感，以此来达到越向右的旋钮，指针移动步伐越小的目的。这也类似于二进制编码，每一位上都是0和1的交互，越往低位走（越往左边走），交互的频率越慢。关于刻度盘的论述可以参考
在这里插入图片描述
并且由于正余弦函数是周期函数，如果函数的频率偏大，引起的波长偏短，那么不同t下位置向量可能出现重合的情况，如下图所示，图中的点表示每个token的位置向量，颜色越深，token的位置越往后，在频率偏大的情况下，位置响亮点连成了一个闭环，靠前位置（黄色）和靠后位置（棕黑色）竟然靠得非常近：

由于其是周期函数，位置n移动到n+1，也就是曲线从黄色->棕色过渡，但是在途中n+1的位置相当于1位置，我们期待让其两个位置应该远离。所以我们必须让函数是单调递增的，所以我们需要降低所有的频率。故原作者选择了1/10,000的最小频率。
位置矩阵热图如下图所示：

以下是如何解读上述嵌入向量 $\overrightarrow{ {p}_{t}}$ 热图

编码不需要大部分的 $\overrightarrow{ {p}_{t}}$ 矩阵，途中红色部分表示刻度盘已经打开。正弦和余弦值分别远离其初始值 0 和 1。这表明有多少嵌入空间用于存储位置信息。沿着红色曲线，沿着深度更深一步激活表盘会变得更加困难。
较大深度处的垂直线变化小于较低深度处的损失。选择一个固定的深度，然后向上移动，注意颜色如何从亮→暗→亮变化……这个循环的频率随着深度的增加而降低，这表明我们之前的直觉是深度越大的表盘越敏感。(这里的敏感指的是数值精确度的敏感)

相对位置

正弦位置编码的另一个特点就是它允许模型毫不费力得关注相对位置信息。
$M\cdot\left[ \begin{matrix} sin({\omega}_{k}\cdot{t}) \\ cos({\omega}_{k}\cdot{t}) \\ \end{matrix} \right] _{d\times1}= \left[ \begin{matrix} sin({\omega}_{k}\cdot{(t+\phi}) \\ cos({\omega}_{k}\cdot{(t+\phi}) \\ \end{matrix} \right] _{d\times1}$
(证明过程)
通过上式我们可以发现 $M$ 能够允许 $\overrightarrow{ {p}_{t+\phi}}$ 对于任意的固定偏置 $\phi$ 是 $\overrightarrow{ {p}_{t}}$ 得线性函数，这个属性使得模型能够很方便得学习相对位置。
正弦位置编码的另一个特性是相邻时间步之间的距离是对称的并且随着时间的推移能够很好得衰减。

参考博客：

Transformer Architecture: The Positional Encoding
The Annotated Transformer的中文注释版（1）
The Annotated Transformer
知乎回答
 Master Positional Encoding: Part I

本文链接：https://blog.csdn.net/caiziming_001/article/details/134837857

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

从零开始搭建Hadoop_创建一个hadoop项目-程序员宅基地

文章浏览阅读331次。第一部分：准备工作1 安装虚拟机2 安装centos73 安装JDK以上三步是准备工作，至此已经完成一台已安装JDK的主机第二部分：准备３台虚拟机以下所有工作最好都在root权限下操作1 克隆上面已经有一台虚拟机了,现在对master进行克隆,克隆出另外2台子机;1.1 进行克隆21.2 下一步1.3 下一步1.4 下一步1.5 根据子机需要,命名和安装路径1.6 ..._创建一个hadoop项目

心脏滴血漏洞HeartBleed CVE-2014-0160深入代码层面的分析_heartbleed代码分析-程序员宅基地

文章浏览阅读1.7k次。心脏滴血漏洞HeartBleed CVE-2014-0160 是由heartbeat功能引入的，本文从深入码层面的分析该漏洞产生的原因_heartbleed代码分析

java读取ofd文档内容_ofd电子文档内容分析工具（分析文档、签章和证书）-程序员宅基地

文章浏览阅读1.4k次。前言ofd是国家文档标准，其对标的文档格式是pdf。ofd文档是容器格式文件，ofd其实就是压缩包。将ofd文件后缀改为.zip，解压后可看到文件包含的内容。ofd文件分析工具下载：点我下载。ofd文件解压后，可以看到如下内容：对于xml文件，可以用文本工具查看。但是对于印章文件(Seal.esl)、签名文件(SignedValue.dat)就无法查看其内容了。本人开发一款ofd内容查看器，..._signedvalue.dat

基于FPGA的数据采集系统（一）_基于fpga的信息采集-程序员宅基地

文章浏览阅读1.8w次，点赞29次，收藏313次。整体系统设计本设计主要是对ADC和DAC的使用，主要实现功能流程为：首先通过串口向FPGA发送控制信号，控制DAC芯片tlv5618进行DA装换，转换的数据存在ROM中，转换开始时读取ROM中数据进行读取转换。其次用按键控制adc128s052进行模数转换100次，模数转换数据存储到FIFO中，再从FIFO中读取数据通过串口输出显示在pc上。其整体系统框图如下：图1：FPGA数据采集系统框图从图中可以看出，该系统主要包括9个模块：串口接收模块、按键消抖模块、按键控制模块、ROM模块、D.._基于fpga的信息采集

微服务 spring cloud zuul com.netflix.zuul.exception.ZuulException GENERAL-程序员宅基地

文章浏览阅读2.5w次。1.背景错误信息：-- [http-nio-9904-exec-5] o.s.c.n.z.filters.post.SendErrorFilter : Error during filteringcom.netflix.zuul.exception.ZuulException: Forwarding error at org.springframework.cloud..._com.netflix.zuul.exception.zuulexception

邻接矩阵-建立图-程序员宅基地

文章浏览阅读358次。1.介绍图的相关概念　　图是由顶点的有穷非空集和一个描述顶点之间关系-边（或者弧）的集合组成。通常，图中的数据元素被称为顶点，顶点间的关系用边表示，图通常用字母G表示，图的顶点通常用字母V表示，所以图可以定义为:　　G=(V,E)其中，V(G)是图中顶点的有穷非空集合，E(G)是V(G)中顶点的边的有穷集合1.1 无向图：图中任意两个顶点构成的边是没有方向的1.2 有向图：图中..._给定一个邻接矩阵未必能够造出一个图

随便推点

MDT2012部署系列之11 WDS安装与配置-程序员宅基地

文章浏览阅读321次。（十二）、WDS服务器安装通过前面的测试我们会发现，每次安装的时候需要加域光盘映像，这是一个比较麻烦的事情，试想一个上万个的公司，你天天带着一个光盘与光驱去给别人装系统，这将是一个多么痛苦的事情啊，有什么方法可以解决这个问题了？答案是肯定的，下面我们就来简单说一下。WDS服务器，它是Windows自带的一个免费的基于系统本身角色的一个功能，它主要提供一种简单、安全的通过网络快速、远程将Window..._doc server2012上通过wds+mdt无人值守部署win11系统.doc

python--xlrd/xlwt/xlutils_xlutils模块可以读xlsx吗-程序员宅基地

文章浏览阅读219次。python–xlrd/xlwt/xlutilsxlrd只能读取，不能改,支持 xlsx和xls 格式xlwt只能改，不能读xlwt只能保存为.xls格式xlutils能将xlrd.Book转为xlwt.Workbook，从而得以在现有xls的基础上修改数据，并创建一个新的xls，实现修改xlrd打开文件import xlrdexcel=xlrd.open_workbook('E:/test.xlsx') 返回值为xlrd.book.Book对象,不能修改获取sheett_xlutils模块可以读xlsx吗

关于新版本selenium定位元素报错：‘WebDriver‘ object has no attribute ‘find_element_by_id‘等问题_unresolved attribute reference 'find_element_by_id-程序员宅基地

文章浏览阅读8.2w次，点赞267次，收藏656次。运行Selenium出现'WebDriver' object has no attribute 'find_element_by_id'或AttributeError: 'WebDriver' object has no attribute 'find_element_by_xpath'等定位元素代码错误，是因为selenium更新到了新的版本，以前的一些语法经过改动。..............._unresolved attribute reference 'find_element_by_id' for class 'webdriver