【Paper Reading】AdderNet: DoWe Really Need Multiplications in Deep Learning?_在本文中,我们提出了一个加法器网络,此网络在舍弃卷积的同时最大化加法的使用。考-程序员宅基地
技术标签： 深度学习 神经网络 Paper Reading
2020 CVPR
北大 华为
paper：https://arxiv.org/abs/1912.13200
code:https://github.com/huawei-noah/AdderNet
摘要
与廉价的加法运算相比，乘法运算具有更高的计算复杂度。在深度神经网络中被广泛使用的卷积使用互相关来度量输入特征与卷积滤波器之间的相似性，这涉及到浮点值之间的大量乘法。本文提出的AdderNets中，将滤波器与输入特性之间的L1距离作为输出响应。使用L1距离来度量神经网络中特征和滤波器之间的相关性。由于L1距离中只包含加法和减法，神经网络中大量的乘法运算可以被替换为加法和减法，从而大大减少了神经网络的计算代价。此外，文章设计了带有自适应学习率的改进的梯度计算方案，以确保滤波器的优化速度和更好的网络收敛。在CIFAR和ImageNet数据集上的结果表明AdderNet可以在分类任务上取得和CNN相似的准确率。
1 引言
深度卷积神经网络在计算机视觉任务中有着广泛的应用。然而由于神经网络常常具有较大的计算量，其无法被直接应用在例如手机、无人车等移动设备上。于是，如何压缩神经网络使得他们可以被应用在资源受限的设备上已成为研究的热点。
上图展示了加法和乘法在45nm元器件上的运算代价，可以看到，乘法的运算代价大大高于加法。然而现有的深度卷积神经网络包含着大量的乘法运算，带来了极大的运算代价。实际上，CNN中的卷积运算是计算特征和卷积核之间的互相关性。卷积被作为看作是从视觉数据中提取特征的默认操作，以往的工作引入各种方法来加速卷积。但是，几乎没有研究者尝试用另一种更有效的相似性度来量代替卷积。由于加法的计算复杂度比乘法低得多，因此本文研究卷积神经网络中用加法代替乘法的可行性。
2 实现方法
2.1 加法器网络
卷积神经网络的计算，神经网络的卷积核F(d * d * cin * cout)，输入特征X(H * W * cin)，则输出特征Y为：
其中S()是一种相似度度量函数，当使用互相关作为距离度量时，S(x,y)=x和y的卷积，事实上，除了互相关以外，还有很多其他的度量函数可以提取滤波器和输入特征之间的关系，但是，大部分的度量函数都包含乘法，因此带来了大量的计算代价。
因此，文章使用一种只具有加法的度量函数，即L1距离，来代替卷积神经网络中的卷积计算。通过使用L1距离，输出的特征可以被重新计算为：
用L1距离代替欧氏距离。L1距离是求两点之间坐标差值的绝对值之和，因此全程不涉及乘法。
由于卷积操作是计算两个向量的内积，两个向量的相关性越大，卷积的结果越大，所以在卷积神经网络，提取的特征的二维可视化，特征的聚类为相似性的聚类，不同角度的分布。L1距离是求两点之间坐标差值的绝对值之和，是一种坐标上距离的度量，特征的二维分布为空间位置上的不同，下图为作者特征的可视化的结果：
2.2 参数优化方法
网络使用反向传播来计算参数的梯度，再通过梯度下降来对网络中的参数进行优化。在Adder Net中，输出特征Y对滤波器F的偏导数为：
可以看到，偏导数的输出结果为+1,0或-1，仅有三个值的输出，不能很好的反应输入特征X和滤波器F之间的距离关系，也不利于滤波器的优化。计算导数，采用计算L2范数的梯度来计算：
使用改进方式计算的梯度更能表达输入特征和滤波器之间的距离大小关系，也更加有利于梯度的优化。由于使用改进梯度计算出的结果的量级可能大于1，如果不对X进行截断，多层的反向传播会使得改进梯度的量级和真实梯度的量级有着很大的累计误差，导致梯度爆炸。在对输入特征X求偏导数时，对其进行截断：
2.3 自适应学习率的调整
在传统CNN中，我们常常希望每一层之间的输出分布相似，使得网络的计算更加稳定，考虑输出特征的方差，假设X和F都为均值0的标准正态分布，在CNN中的方差为：
传统的CNN中，对卷积核F给定一个很小的方差作为初始化通过使F的反差为d2cin，输出特征Y的方差可以被控制为和输入特征X相似。
在AdderNet中，输出特征的方差被计算为:
无法给定一个F的方差使得输出特征的方差维持不变，于是输出特征的量级会大大的高于输入的特征，如果不对其进行归一化，将会导致输出的数量级随着网络的深度爆炸。
传统的CNN中，使用批归一化来控制每层的特征量级的相似，给定训练批次B ={x1、x2……},BN的输出为：
BN层的梯度被计算为：
由于AdderNet的方差很大，计算出的偏导数的量级会很小，于是，AdderNet对滤波器的梯度将会变的很小。表1展示了不同层L2范数的梯度的大小，AdderNet远小于CNN。
采用一个自适应的学习率：
γ是全局学习率，α是第l层的局部的学习率，▲L是第l层的梯度。
由于AdderNet计算的是特征和滤波器之间的减法，它们的量级大小应该相似从而有利于特征的提取，由于每层的特征都进行了归一化，其量级都近似一样，所以每层的滤波器的量级也应该相似。基于此考虑，我们将每层的学习率计算为：
K为Fl中元素的个数，η是超参。
从而整个参数的优化过程如下：
3 实验
3.1 分类精度
4 结论
在基准数据集上的实验表明，加法器网络可以在几乎没有乘法的情况下取得和相同结构CNN几乎一样的准确率，提出了一种新的网络的训练方法。由于没有通过量化，网络的表达能力核CNN一样，是很强的，不像二值化网络的表达能力很弱，所以其模型的准确度比现有的最好的二值化网络要高。但是其浮点数的加法计算复杂度相比二值化的位运算计算复杂度还是很高。作者在项目主页中说，由于AdderNet是用加法过滤器实现的，因此推理速度较慢，需要用CUDA编写才能提高速度。这与作者希望提高神经网络运算速度的初衷还有一段距离，但确实提出了一种神经网络的新的思路。
智能推荐
Eclipse中配置WebMagic(已配置好Maven)_使用eclipse搭建webmagic工程-程序员宅基地
文章浏览阅读364次。1.WebMagicWebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。2.在Eclipse中配置WebMagic1.首先需要下载WebMagic的压缩包官网地址为：WebMagic官网最新版本为：WebMagic-0.7.3，找到对应版本，打开下载界面，注意，下载要选择Source code(zip)版本，随便下载到哪里都可以；2.下载好的压缩包需要解压，此时解压到的位置即为后续新建的Eclipse的project位置，比如我的Ecli_使用eclipse搭建webmagic工程
linux启动mysql_linux如何启动mysql服务_linux启动mysql服务命令是什么－系统城-程序员宅基地
文章浏览阅读1.9k次。mysql数据库是一种开放源代码的关系型数据库管理系统，有很多朋友都在使用。一些在linux系统上安装了mysql数据库的朋友，却不知道该如何对mysql数据库进行配置。那么linux该如何启动mysql服务呢？接下来小编就给大家带来linux启动mysql服务的命令教程。具体步骤如下：1、首先，我们需要修改mysql的配置文件，一般文件存放在/etc下面，文件名为my.cnf。2、对于mysql..._linux中 mysql 启动服务命令
php实现在线oj,详解OJ(Online Judge)中PHP代码的提交方法及要点-程序员宅基地
文章浏览阅读537次。详解OJ(Online Judge)中PHP代码的提交方法及要点Introduction of How to submit PHP code to Online Judge SystemsIntroduction of How to commit submission in PHP to Online Judge Systems在目前常用的在线oj中，codeforces、spoj、uva、zoj..._while(fscanf(stdin, "%d %d", $a, $b) == 2)
java快捷键调字体_设置MyEclipse编码、补全快捷键、字体大小-程序员宅基地
文章浏览阅读534次。一、设置MyEclipse编码(1)修改工作空间的编码方式：Window-->Preferences-->General-->Workspace-->Text file encoding(2)修改一类文件的编码方式：Window-->Preferences-->General-->content Types-->修改default Encoding(..._java修改快捷缩写内容
解析蓝牙原理_蓝牙原理图详解-程序员宅基地
文章浏览阅读1.4w次，点赞19次，收藏76次。1.前言市面上关于Android的技术书籍很多，几乎每本书也都会涉及到蓝牙开发，但均是上层应用级别的，而且篇幅也普遍短小。对于手机行业的开发者，要进行蓝牙模块的维护，就必须从Android系统底层，至少框架层开始，了解蓝牙的结构和代码实现原理。这方面的文档、网上的各个论坛的相关资料却少之又少。分析原因，大概因为虽然蓝牙协议是完整的，但是并没有具体的实现。蓝牙芯片公司只负责提供最底层的API_蓝牙原理图详解
从未在一起更让人遗憾_“从未在一起和最终没有在一起哪个更遗憾”-程序员宅基地
文章浏览阅读7.7k次。图/源于网络文/曲尚菇凉1.今天早上出门去逛街，在那家冰雪融城店里等待冰淇淋的时候，听到旁边两个女生在讨论很久之前的一期《奇葩说》。那期节目主持人给的辩论题是“从未在一起和最终没有在一起哪个更遗憾”，旁边其中一个女生说，她记得当时印象最深的是有个女孩子说了这样一句话。她说:“如果我喜欢一个人呢，我就从第一眼到最后一眼，把这个人爱够，把我的感觉用光，我只希望那些年让我成长的人是他，之后的那些年他喝过..._从未在一起更遗憾
随便推点
Spring Cloud Alibaba 介绍_sprngcloud alba-程序员宅基地
文章浏览阅读175次。Spring Cloud Alibaba 介绍Sping体系Spring 以 Bean（对象） 为中心，提供 IOC、AOP 等功能。Spring Boot 以 Application（应用） 为中心，提供自动配置、监控等功能。Spring Cloud 以 Service（服务） 为中心，提供服务的注册与发现、服务的调用与负载均衡等功能。Sping Cloud介绍官方介绍 Tools for building common patterns in distributed systems_sprngcloud alba
测试 数据类型的一些测试点和经验_基础字段的测试点-程序员宅基地
文章浏览阅读3.2k次，点赞4次，收藏21次。我这里是根据之前在测试数据类项目过程中的一些总结经验和掉过个坑，记录一下，可以给其他人做个参考，没什么高深的东西，但是如果不注意这些细节点，后期也许会陷入无尽的扯皮当中。1 需求实现的准确度根据产品需求文档描述发现不明确不详细的或者存在歧义的地方一定要确认，例如数据表中的一些字段，与开发和产品确认一遍，如有第三方相关的，要和第三方确认，数据类项目需要的是细心，哪怕数据库中的一个字段如果没有提前对清楚，后期再重新补充，会投入更大的精力。2 数据的合理性根据业务场景/常识推理，提..._基础字段的测试点
一文看懂：行业分析怎么做？_码工小熊-程序员宅基地
文章浏览阅读491次。大家好，我是爱学习的小xiong熊妹。在工作和面试中，很多小伙伴会遇到“对XX行业进行分析”的要求。一听“行业分析”四个字，好多人会觉得特别高大上，不知道该怎么做。今天给大家一个懒人攻略，小伙伴们可以快速上手哦。一、什么是行业？在做数据分析的时候，“行业”两个字，一般指的是：围绕一个商品，从生产到销售相关的全部企业。以化妆品为例，站在消费者角度，就是简简单单的从商店里买了一支唇膏回去。可站在行业角度，从生产到销售，有相当多的企业在参与工作（如下图）在行业中，每个企业常常扮._码工小熊
LLaMA 简介：一个基础的、650 亿参数的大型语言模型_llma-程序员宅基地
文章浏览阅读1.6w次，点赞2次，收藏2次。还需要做更多的研究来解决大型语言模型中的偏见、有毒评论和幻觉的风险。我们在数万亿个令牌上训练我们的模型，并表明可以仅使用公开可用的数据集来训练最先进的模型，而无需诉诸专有和不可访问的数据集。在大型语言模型空间中训练像 LLaMA 这样的小型基础模型是可取的，因为它需要更少的计算能力和资源来测试新方法、验证他人的工作和探索新的用例。作为 Meta 对开放科学承诺的一部分，今天我们公开发布 LLaMA（大型语言模型元 AI），这是一种最先进的基础大型语言模型，旨在帮助研究人员推进他们在 AI 子领域的工作。_llma
强化学习在制造业领域的应用：智能制造的未来-程序员宅基地
文章浏览阅读223次，点赞3次，收藏5次。1.背景介绍制造业是国家经济发展的重要引擎，其产能和质量对于国家经济的稳定和发展具有重要意义。随着工业技术的不断发展，制造业的生产方式也不断发生变化。传统的制造业通常依赖于人工操作和手工艺，这种方式的缺点是低效率、低产量和不稳定的质量。随着信息化、智能化和网络化等新技术的出现，制造业开始向智能制造迈出了第一步。智能制造的核心是通过大数据、人工智能、计算机视觉等技术，实现制造过程的智能化、自动化...
ansible--安装与使用_pip安装ansible-程序员宅基地
文章浏览阅读938次。系列文章目录文章目录系列文章目录 前言 一、ansible是什么？ 二、使用步骤 1.引入库 2.读入数据 总结前言菜鸟一只，刚开始使用，仅作以后参考使用。边学习，边记录，介绍一下最基础的使用，可能会有理解不到位的地方，可以共同交流，废话不多说，走起。一、ansible 简介？ansible是自动化运维工具的一种，基于Python开发，可以实现批量系统配置，批量程序部署，批量运行命令，ansible是基于模块工作的，它本身没有批量部署的能力，真正.._pip安装ansible