[机器学习] Coursera ML笔记 - 神经网络(Learning) - 标准梯度下降_神经网络 标准梯度下降-程序员宅基地

技术标签: 机器学习  梯度下降算法  神经网络偏导数推导  神经网络  

前言

  本文是Neural network - Learning笔记的补充,给出了神经网络的标准梯度下降算法,欢迎大家讨论。

  我在学习神经网络过程中的笔记共分为以下几个部分:
  Neural network - Representation:神经网络的模型描述
  Neural network - Learning:神经网络的模型训练
  Neural network - Learning:标准梯度下降法
  Neural network - Code:神经网络的代码实现。

  在阅读这部分笔记之前,请先阅读《[机器学习] Coursera ML笔记 - 神经网络(Representation)》《[机器学习] Coursera ML笔记 - 神经网络(Learning)》这两篇笔记,以了解神经网络的模型描述,激活函数,前向传播、反向传播、参数优化等基础知识。
  
  

神经网络的标准梯度下降法

  神经网络的关键是如何训练权重模型,在基于sgd的优化策略中,训练的关键是如何计算梯度。利用反向传播算法可以证明,无论损失函数(loss function)和激励函数(activation function)是什么,神经网络的梯度下降法在数学抽象形式上都是一致的。
  下面给出我总结的标准梯度下降计算规则。

  1. Deign network structure
  2. Randomly initialize weights
  Repeat {
    3. Perform forward propagation to compute a^((l))
    4. Perform back propagation to compute δ^((l))
      For each unit i in layer =L , set:
      

这里写图片描述

      For each unit i in layer =L-1,L-2,L-2,…,2 , set:
      
这里写图片描述
      
    5. Compute gradient:
    
这里写图片描述

    6. Update weight:
    
这里写图片描述

    7. Check: convergence? Or max iterations?
  } 
  

  向量化计算版本:
  1. Deign network structure
  2. Randomly initialize weights
  Repeat {
    3. Perform forward propagation to compute a^((l))
    4. Perform back propagation to compute δ^((l))
      For each unit i in layer =L , set:
      

这里写图片描述
      
      For each unit i in layer =L-1,L-2,L-2,…,2 , set:
      
这里写图片描述
      
    5. Compute gradient:
    
这里写图片描述

    6. Update weight:
    
这里写图片描述

    7. Check: convergence? Or max iterations?
  }   
  
  
  供大家参考,欢迎批评指正交流!
  后续文章会整理UFLDL-反向传播算法的笔记,会给出在不同loss function情况下的偏导数推导,可以看到,神经网络是很神奇的,可以看作是一种计算规则,无论损失函数(loss function)和激励函数(activation function)是什么,都可以归纳到一个统一的计算规则下!十分方便!也许这也是很多人批评深度学习缺少数学的原因吧!
  

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/walilk/article/details/78149772

智能推荐

【第5节】零基础新手的Python入门实战宝典(五) —— 最基础的表达(数据类型 · 上)_零基础python 编程之光-程序员宅基地

文章浏览阅读971次,点赞4次,收藏2次。如果你之前看过其他教程,但是发现云里雾里复杂的让你头晕眼花的话,没错,看这里,本系列Python教程专为啥都不会的新手用户打造,放宽心,大胆看,我就是说说书,你就当听听故事,轻松愉快走进编程的大门,“程序设计”不再神秘也不再遥不可及。只要你会最基本的电脑操作(装装软件打打字),读过那么几天书,汉字都认识,英文会那么一点点就够了,包学包会!Let’s go!【本节目录】1. “数据类型..._零基础python 编程之光

韩顺平PHP学习视频笔记整理008多媒体页面 标签汇总① 地图映射-程序员宅基地

文章浏览阅读327次。第八讲 多媒体页面 标签汇总① 地图映射1、照着html文档,对html巩固一下2、做图形映射的时候,有一个必要的知识点:坐标体系

vue使用iview实现单选,禁选,下拉框的效果-程序员宅基地

文章浏览阅读2.4k次。<div class="content"> <p> <span>控制</span> <RadioGroup v-model="animal" @on-change="KongFun"> <Radio label="启用"></Radio> <Ra..._iview radiogroup 如何禁用

326_SVN设置自动添加新文件_visualsvn自动添加文件-程序员宅基地

文章浏览阅读3.6k次。SVN设置自动添加新文件打开Settings (ctrl+alt+s)打开Version Control打开第一个Confirmation左上角第一个选项When files are created文件创建的时候有3个选项1.Show options before adding to v_visualsvn自动添加文件

JSP中Web.xml配置文件详解_jsp web.xml-程序员宅基地

文章浏览阅读5k次。1 定义头和根元素 部署描述符文件就像所有XML文件一样,必须以一个XML头开始。这个头声明可以使用的XML版本并给出文件的字符编码。 DOCYTPE声明必须立即出现在此头之后。这个声明告诉服务器适用的servlet规范的版本(如2.2或2.3)并指定管理此文件其余部分内容的语法的DTD(Document Type Definition,文档类型定义)。 所有部署描述符文件的顶层(根)元素_jsp web.xml

Spring Web Flow (SWF)入门_spring swf-程序员宅基地

文章浏览阅读449次。Spring Web Flow (SWF)是Spring Framework的一个脱离模块。这个模块是Spring Web应用开发模块栈的一部分,Spring Web包含Spring MVC。 Spring Web Flow的目标是成为管理Web应用页面流程的最佳方案。当你的应用需要复杂的导航控制,例如向导,在一个比较大的事务过程中去指导用户经过一连串的步骤的时候,SWF将会是一个功能强大的控制器_spring swf

随便推点

将一个excel表格的数据匹配到另一个表中_将一个表中的数据对应到另一个表中的名字-程序员宅基地

文章浏览阅读1.1w次。将一个excel表格的数据匹配到另一个表中第一步:我们打开一个excel表,需要在另一个表中匹配出相应学校的信息。第二步:我们把光标定位在需要展示数据的单元格中,在单元格中输入“=vl”,然后会自动提示出VLOOKUP函数,双击蓝色的函数部分。我们可以看到,单元格中显示出完整的VLOOKUP(参数1,参数2,参数3,参数4)函数。里面的参数按照自己的需求来。比如,按照我的需求:参数1:查询A4单元格内的学校的信息,所以参数1是A4;参数2:需要从‘预处理后学校信息-副表.xlsx’表中查找信息_将一个表中的数据对应到另一个表中的名字

RK3588平台开发系列讲解(SARADC篇)SARADC的工作流程_rockcip saradc-程序员宅基地

文章浏览阅读1.9k次,点赞32次,收藏26次。本篇将介绍SARADC的源码分析和工作流程。_rockcip saradc

数据库, 数据仓库, 数据集市,数据湖,数据中台_数据库基座和中间库关系-程序员宅基地

文章浏览阅读1.6w次,点赞68次,收藏440次。转载声明本文大量内容系转载自以下文章,有删改,并参考其他文档资料加入了一些内容:数据仓库和数据集市的区别作者:修鹏李出处:CSDN大数据:数据仓库和数据库的区别作者:南宫蓉出处:简书第一篇:数据仓库概述第二篇:数据库关系建模作者:穆晨出处:CNBLOS摘要本文简要介绍数据库 数据仓库和数据集市概念,并做简要对比。0x01 数据仓库和数据库1.1 数..._数据库基座和中间库关系

土地利用数据分类过程教学/土地利用分类/遥感解译/土地利用获取来源介绍/地理数据获取-程序员宅基地

文章浏览阅读1.2k次,点赞20次,收藏23次。通过对土地资源的数量与质量、结构与分布以及土地利用现状与开发潜力等方面的分析,明确规划区域内土地资源的整体优势与劣势、制约优势土地资源开发利用的主要因素,揭示土地利用中存在的问题,从而明确土地资源开发利用的方向和重点,提出改善土地利用、提高土地利用率和生产力的对策和途径,既可以发挥区域资源优势、强化区域土地系统功能,又强调人地协调发展的土地利用规划,为制定土地利用规划提供重要的科学依据。本研究以研究区的地形图作为参考图像,必要时辅以实地考察的GPS点,采用多项式几何纠正计算模型,对遥感影像进行几何精校正。

html5页面四周不留白,关于微信H5页面软键盘输入后页面下方留白的问题(仅IOS)...-程序员宅基地

文章浏览阅读466次。前言:手上的微信H5项目做的接近尾声了,结果元旦回来没多久测试说ios端出现了bug,软键盘输完隐藏后页面不会回弹,下方会有一大块留白。之前没出现过这种问题,安卓也没问题。。测试说可能是因为最近她更新了ios版本。。。一、问题页面示例下方有一大块留白二、问题分析最近微信和ios都有版本升级,不知道是哪边升级造成的,但是经过测试人员反馈,软键盘收起后,再滚动一下页面,下面的留白就会消失。所以只要在输..._h5 安卓关闭软键盘页面底部留白

2024 年甘肃省职业院校技能大赛中职组 电子与信息类“网络安全”赛项竞赛样题-B_设置站点本地用户访问的最大传输速率为1m,将/etc/vsftpd/vsftpd.conf配置文件中-程序员宅基地

文章浏览阅读330次。2.靶机服务器上的网站可能存在命令注入的漏洞,要求选手找到命令注入的。3.靶机服务器上的网站可能存在文件上传漏洞,要求选手找到文件上传的相。5.操作系统提供的服务可能包含了远程代码执行的漏洞,要求用户找到远程。2.堡垒服务器上的网站可能存在命令注入的漏洞,要求选手找到命令注入的。3.堡垒服务器上的网站可能存在文件上传漏洞,要求选手找到文件上传的相。5.操作系统提供的服务可能包含了远程代码执行的漏洞,要求用户找到远程。假定你是某企业的网络安全工程师,对于企业的服务器系统,根据任务要求。_设置站点本地用户访问的最大传输速率为1m,将/etc/vsftpd/vsftpd.conf配置文件中对