为什么加深神经网络如此有效？从卷积滤波器解释_卷积深度变深什么作用-程序员宅基地
加深层的好处
- 减少网络参数
与没有加深层的网络相比，加深了层的网络可以用更少的参数达到同等水平（或者更强）的表现力。我们通过结合卷积运算中的滤波器大小来理解。如下图展示了由5 × 5的滤波器构成的卷积层。
显然，在上图中每个输出节点都是从输入数据的某个5 × 5 的区域算出来的。接下来我们思考下图中重复两次3 × 3 的卷积运算的情形。
此时，每个输出节点将由中间数据的某个3 × 3 的区域计算出来。那么，可以进一步观察到中间数据的3 × 3 的区域又是由前一个输入数据的一个5 × 5 的区域。也就是说，上图的输出数据是“观察”了输入数据的某个5 × 5 的区域后计算出来的。
| 卷积运算 | 卷积区域大小 | 参数数量 |
|---|---|---|
| 5 x 5 | 一层5 x 5 | 25 |
| 5 x 5 | 两层3 x 3 | 18 |
| 7 x 7 | 一层7 x 7 | 49 |
| 7 x 7 | 三层3 x 3 | 27 |
一次5 × 5 的卷积运算的区域可以由两次3 × 3 的卷积运算抵充。 并且，相对于前者的参数数量25（5 × 5），后者一共是18（2 × 3 × 3），通过叠加卷积层，参数数量减少了。而且，这个参数数量之差会随着层的加深而变大。 比如，重复三次3 × 3 的卷积运算时，参数的数量总共是27。而为了用一次卷积运算“观察”与之相同的区域，需要一个7 × 7 的滤波器，此时的参数数量是49。
“叠加小型滤波器来加深网络的好处是可以减少参数的数量，扩大感受野（receptive field，给神经元施加变化的某个局部空间区域）。并且，通过叠加层，将ReLU 等激活函数夹在卷积层的中间，进一步提高了网络的表现力。这是因为向网络添加了基于激活函数的“非线性”表现力，通过非线性函数的叠加，可以表现更加复杂的东西。”
- 使学习更加高效
CNN的卷积层会分层次地提取信息。具体地说，在前面的卷积层中，神经元会对边缘等简单的形状有响应，随着层的加深，开始对纹理、物体部件等更加复杂的东西有响应。 比如，最开始的层只要专注于学
习边缘就好，这样一来，只需用较少的学习数据就可以高效地进行学习。因为比起特定的训练集，拥有某个特征的数据却十分充足，足够训练。
通过加深层，可以分层次地传递信息。也就是说，通过加深层，可以将各层要学习的问题分解成容易
解决的简单问题，从而可以进行高效的学习。
Reference
斋藤康毅. 《深度学习入门——基于python的理论与实现》[M]. 2016
智能推荐
java比较器Comparator 和 Comparable 的区别-程序员宅基地
文章浏览阅读51次。算了还是给个链接吧 他写的比我的好https://www.cnblogs.com/zyaizz/p/3605103.htmlhttps://blog.csdn.net/u012289441/article/details/45154401?ref=myread楼下这个写得更好鉴定完毕转载于:https://www.cnblogs.com/oushiyang/p/8316146.html...
浅谈后端语言优缺点-程序员宅基地
文章浏览阅读315次。浅谈后端语言优缺点 兄弟连教育在前不久，回答了一个关于后端语言选型的问题，那么后端语言都有哪些，存在什么样的优缺点？因此兄弟连与大家分享一下心得。 语言优缺点..._后端开发语言优缺点
Hadoop集群如何启动_hadoop集群启动命令-程序员宅基地
文章浏览阅读3.4k次。辅助namenode上的resourcemanager通过start-all.sh可能启动不了，需要进入辅namenode上手动启动（/opt/app/hadoop/sbin/hadoop-daemon.sh startresourcemanager）/opt/app/zookeeper-3.4.6/bin/zkServer.sh start（启动）/opt/app/hadoop/sbin/start-all.sh（启动）/opt/app/hadoop/sbin/start-all.sh（停止）_hadoop集群启动命令
打开别人的工程提示IAR版本不兼容问题_win7 iar 8.4无法加载工程-程序员宅基地
文章浏览阅读718次。打开别人的工程提示IAR版本不兼容问题IAR 版本不兼容问题IAR 版本不兼容问题我使用的是 STM32CUBEMX 生成的IAR工程，我自己的是 IAR 版本 8.4，打开别人的工程 8.3版本，但是提示我打开的工程版本更高，可能是IAR的一个bug吧，把cube 生成的 IAR 工程删除 然后再重新生成一个工程就好了。..._win7 iar 8.4无法加载工程
使用VMware安装Ubuntu虚拟机 - 完整教程-程序员宅基地
文章浏览阅读4.8w次，点赞89次，收藏590次。使用 VMware Workstation 16 Pro 安装 Ubuntu 虚拟机 - 完整教程_vmware安装ubuntu
商业WIFI，移动互联网的一大超级入口-程序员宅基地
文章浏览阅读116次。在2016中国互联网大会之中国WiFi应用创新大会上，中国互联网协会开发者核心价值小组秘书长于立娟发表了精彩的开幕致辞，她指出随着移动上网终端的多元化，WiFi应用已经成为移动互联网时代继浏览器、超级APP之后的又一大超级入口。 于立娟表示，“WiFi如果仅仅停留在底层入口，就会像3G...
随便推点
朴素贝叶斯 Naive Bayes Classifier-程序员宅基地
文章浏览阅读2.1k次，点赞2次，收藏21次。本文主要简单介绍了朴素贝叶斯的基本概念，优缺点，应用场景，建模时的注意事项，模型的评价指标，以及朴素贝叶斯在解决分类任务时的python实现方法和示例等。_朴素贝叶斯
深入理解Java中的HashMap：工作原理、实现方式与使用案例分析_java中hashmap-程序员宅基地
文章浏览阅读1.6k次，点赞3次，收藏9次。HashMap是一种非常常见和实用的数据结构，它被广泛应用于Java编程中。在本文中，我们将深入探讨HashMap的工作原理、实现方式和使用案例，以帮助读者更好地理解和应用这一数据结构。_java中hashmap
HotSpot 垃圾回收-程序员宅基地
文章浏览阅读591次，点赞26次，收藏8次。主要概括了hotspot的gc机制
病毒分析之撒旦(Satan)勒索病毒分析解密(AES256 ECB算法)_撒旦查询恶意-程序员宅基地
文章浏览阅读2.9k次，点赞3次，收藏10次。病毒分析之撒旦(Satan)勒索病毒分析解密(AES256 ECB算法)0x0病毒概况撒旦勒索病毒主要是针对企业服务器用户进行感染加密其服务器上的文件并勒索用户的一种病毒。撒旦病毒通过大量漏洞利用工具，扫描入侵主机。成功入侵后加密重要文件。并生成文件用中英韩三种语言提示索要比特币赎金解密文件。0x1恶意行为1.主模块会释放大量攻击模块并执行，也会连接恶意IP下载病毒文件..._撒旦查询恶意
在Ubuntu20.04配置PX4环境_ubuntu 24.04 ppeizhi-程序员宅基地
文章浏览阅读932次，点赞7次，收藏8次。pwd=5npl 提取码：5npl。找到“软件和更新”，选择aliyun服务器，——>【关闭】——>【重新载入】，等待进度条完毕就更管成功。出现“Configuring incomplete, errors occurred!"，这是由于没有将软件源改为国内软件源，如果意外退出下载，第二次进入下载的时候缓存会被锁住。在主目录下打开终端，运行以下命令，_ubuntu 24.04 ppeizhi
关于报错“! [rejected]master -＞ master (non-fast-forward)”的解决方法_efs/heads/master:refs/heads/master[rejected] (non--程序员宅基地
文章浏览阅读3.2w次，点赞18次，收藏58次。在遇到上述错误自己无解决时，于是开始了网上大搜索:git push -u origin master 上面命令将本地的master分支推送到origin主机，同时指定origin为默认主机，后面就可以不加任何参数使用git push了首先尝试了 命令git push -u origin master -f，然后惊喜地出现了下面错误，不能强制推送到受保护的分支随后就又找到了一个方法：先使用..._efs/heads/master:refs/heads/master[rejected] (non-fast-forward)