半监督学习入门——《机器学习》周志华—第十三章_机器学习第十三章答案-程序员宅基地

技术标签: 聚类  算法  机器学习  机器学习之半监督学习  

13.1未标注样本

半监督学习 描述
概念 让学习器不依赖外界交互、自动地利用未标记样本来提升学习性能在这里插入图片描述
分类 纯半监督学习和直推学习在这里插入图片描述## 标题

Q:如何利用未标记样本?
A:做一些将未标记样本所揭示的数据分布信息与类别标记相联系的假设,如聚类假设和流式假设(相似的样本拥有相似的输出)

13.2生成式方法

生成式方法 描述:用于具体的应用领域(需要充分可靠的领域知识)
概念 直接基于生成式模型的方法
具体内容 模型→所有数据;未标记数据的标记→模型的缺失参数;通常可基于EM算法进行极大似然估计求解;方法的关键:选取的模型假设必须正确,即假设的生成式模型必须与真实数据吻合(难做到)在这里插入图片描述1
区别 生成式模型的假设——不同的模型假设将产生不同的方法
例子(高斯混合模型) 在这里插入图片描述在这里插入图片描述在这里插入图片描述
缺点 需要正确的假设模型

13.3半监督SVM

支持向量机 简称S3VM 低密度分离方法

对象 划分描述:需要减轻非凸函数造成的不利影响
SVM 不考虑未标记样本——试图找到最大间隔划分平面
S3VM 考虑了未标记样本——找到将两类有标记样本分开,且穿过数据低密度区域的划分平面在这里插入图片描述
TSVM 描述
思想 label assignment,指派标记→上图的灰色点指派为“+”或“-”,所有样本→一个间隔最大化的划分超平面→未标记样本的最终指派就是其预测结果
具体内容 在这里插入图片描述
缺点 尝试未标记样本的各种标记指派是一个穷举过程,仅当未标记样本很少时才有可能直接求解。
研究重点 更高效的优化策略
局部搜索求近似解 ①有标记样本→②SVM→③标记未标记样本,得“伪标记”→④新的划分平面和松弛向量,令有标记得重要程度大于未标记得重要程度→⑤找出两个标记指派为异类且很有可能发生错误得未标记样本,交换标记→⑥循环④⑤,逐步提高未标记样本得重要程度直到二者重要程度相等,结束循环
对应算法 在这里插入图片描述
知识点 描述
1 在这里插入图片描述
2 S.T. 是subject to 的缩写,作形容词用时,其基本含义是受限于…,服从于…,易受…;作副词用时,意思是在…条件下,依照…。

13.4图半监督学习

图半监督学习 描述:还有K近邻图的方法
概念 数据集→图,样本→图中结点,相似度→图的边(存在与否+强度大小),染色→已标记,半监督学习→颜色在图中的扩散(基于矩阵运算)
二分类问题的标记传播方法 在这里插入图片描述在这里插入图片描述
多分类问题的标记传播方法 在这里插入图片描述在这里插入图片描述在这里插入图片描述
缺点 一是存储开销。问题规模O(m),算法涉及的矩阵规模为O(m^2),不利于处理大规模数据;二是新样本的加入需要①重构图,或者②引入额外的预测机制(另外训练一个学习器)。

13.5基于分歧的方法

基于分歧方法 描述:将集成学习和半监督学习联系起来,可自然与主动学习结合
概念 使用多学习器,基于学习器之间的分歧(disagreement;diversity)来利用未标记数据
协同训练multi-view learning 多视图(multi-view)数据?一个数据对象同时拥有多个”属性集“(attribute set),每个属性集就构成一个”视图“(view)。(<x1,x2>,y)是多视图数据,x1、x2分别对应一个数据对象不同视图中的属性向量,y是标记。在这里插入图片描述
优点 算法简单;在视图充分且条件独立(现实中很难满足),可将弱分类器的泛化性能提升到任意高;同时,后续研究表明,也可用于单视图数据,如使用不同的学习算法、使用不同的数据采样、使用不同的参数设置来产生不同的学习器,也可以提升性能。只要学习器之间又显著分歧即可。
缺点 标记样本很少,或布局有多视图时,需要巧妙设计。

Q:标记样本少——在先使用了主动学习挑出有价值的样本进行标记后能否解决这个问题?
A:本来有疑问,读到13.7时才发现周志华老师已经想到了这点。故在描述的那栏加上了解释。

13.6半监督聚类

半监督聚类 描述:流形正则化框架,预测函数具有局部光滑性
概念 聚类是一种典型的无监督学习任务;利用额外的监督信息,可以实现半监督聚类
监督信息分类 ①“必连”+“勿连”:前者样本属于同一个簇;后者不属于同一个簇②少量的有标记样本
约束K均值算法① 在这里插入图片描述在这里插入图片描述在这里插入图片描述
约束K均值算法② 在这里插入图片描述

文中引用的外部图片

未标注的都为书中截图或者百度百科解释


  1. 图片来源

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qwq_xcyyy/article/details/118852712

智能推荐

2020-11-30leetcode 贪心_0xc20a69ad22df7cdc34f792c7a7f7129490e6b07f-程序员宅基地

文章浏览阅读261次。leetcode 55 跳跃游戏思路一:这道题最容易想到的方法就是递归(dfs),但是很不幸的是,使用递归方法,即使使用了空间换时间,优化了花费的时间,依然会超时。。。思路二:贪心算法官方给出的题解也是贪心算法。。之前贪心算法训练得比较少,一时没有想到,需要仔细琢磨。。针对数组中的每个索引,在保证当前索引可达的前提下,寻找当前索引可达的最大范围。。..._0xc20a69ad22df7cdc34f792c7a7f7129490e6b07f

毕业设计 单片机自动追踪灭火系统 - arduino stm32 物联网 嵌入式_基于stm32灭火小车原理图-程序员宅基地

文章浏览阅读1k次。 这两年开始毕业设计和毕业答辩的要求和难度不断提升,传统的毕设题目缺少创新和亮点,往往达不到毕业答辩的要求,这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设,学长分享优质毕业设计项目,今天要分享的是基于单片机的自动追踪灭火系统学长这里给一个题目综合评分(每项满分5分)难度系数:4分工作量:4分创新点:3分基于arduino单片机的灭火装置,当传感器检测到火焰的时候,会自动控制舵机转向灭火。_基于stm32灭火小车原理图

antdesign Pro of vue 自定义菜单栏图标,导航菜单图标引入阿里巴巴矢量库IconFont自定义的图标_ant design pro react 侧边导航使用本地图标-程序员宅基地

文章浏览阅读1.5k次。antdesign Pro of vue自定义菜单突变,引入icontfont_ant design pro react 侧边导航使用本地图标

python基于小程序的物流管理系统flask-django-php-nodejs-程序员宅基地

文章浏览阅读674次,点赞8次,收藏19次。随着计算机技术和网络技术的不断发展,线上管理成为一种新兴的管理方式。既带动了物流等相关产业链的发展,又加剧了行业间的竞争。在这种情况之下,更为高质量的物流服务质量能够获得大批人员群体的青睐,为自身进一步开拓市场奠定良好的基础。

【聚类算法】篇二之KMeans聚类算法及其优化KMeans++,elkan K-Means,Mini Batch K-Means,K中心点算法_kmeans算法参数优化-程序员宅基地

文章浏览阅读3.9k次,点赞5次,收藏24次。篇二之KMeans聚类算法及其优化一、KMeans算法二、优化初始k个中心的KMeans++算法三、优化距离计算量的elkan K-Means算法四、Mini Batch K-Means参考KMeans算法是原型聚类的一种,原型聚类是指基于一组原型进行初始化,然后再利用迭代的方式对原型进行更新求解一、KMeans算法K均值算法基于最小化平方误差的原则,所有簇的平方误差和如下:μi是簇Ci..._kmeans算法参数优化

机器人学基础(2)-微分运动和速度-雅可比矩阵计算、雅可比矩阵求逆、计算关节运动速度_机器人雅可比矩阵选择题-程序员宅基地

文章浏览阅读8.9k次,点赞14次,收藏80次。通过学习本章内容,利用公式,已知机器人关节速度,利用雅可比矩阵可以得到机器人手的运动速度;已知机器人手的运动速度,求雅可比矩阵的逆可以得到机器人各关节的速度。同时也学习了不使用雅可比矩阵求关节速度的方法,利用机器人的逆微分运动方程,就可以确定每个关节速度为多少才能产生所期望的机器人手速度。知道了机器人逆运动方程和逆运动微分方程,即知道机器人在空间中的位置和速度。第一章运动学的正运动方程和逆运动方程是为了求得机器人的位置;本章节的微分运动是在已知位置的基础上求得机器人的运动速度和各个关节速度。_机器人雅可比矩阵选择题

随便推点

PintOS, kernel panic with -v option bochs on ubuntu_run didn't start up properly: no "pintos booting" -程序员宅基地

文章浏览阅读2.6k次。Run didn't start up properly: no "pintos booting" message pintos出错解决方案when i do "pintos -- run alarm-multiple" in .../build/ everything seems fine.but when i do "make ch_run didn't start up properly: no "pintos booting" message

实测:GPT-3.5、GPT-4、Newbing和文心一言,你该怎么选?_gpt 3.5 4 翻译能力-程序员宅基地

文章浏览阅读3.9k次,点赞3次,收藏3次。GPT-4的回答在理解程度、概括能力、语言表达和逻辑结构方面都表现较好,能够较为全面地反映原文的内容和作者的心境。4)文心一言的回答则更深入地分析了原文的意义,表达更具备思想性,用词也非常精准,同时也注重语言的音韵和节奏的变化,更符合文学审美。3)Newbing的回答语义理解相对较为深入,系统地解释了每个时间段的含义,并在简洁的词汇和句子中把它们纳入一个完整的故事中。2)GPT-3.5的回答与GPT-4的回答类似,但在表达方面更为流畅,用词更加优美,更符合文学的风格,有一定的深度。_gpt 3.5 4 翻译能力

工作流-Activiti 开发_java activiti工作流 任务不存在-程序员宅基地

文章浏览阅读1.2k次。工作流-Activiti 开发 工作流概述工作流(workflow)就是工作流程的计算模型,我们常见的请假电子流就是一个简单的工作流。JavaWeb 工作流开发准备使用Eclipse开发,需要安排工作流插件 离线安装安装步骤:Eclipse插件安装 new-&gt;other 检查安装是否成功 简单开发流程1.新建一个..._java activiti工作流 任务不存在

Android基础入门_activity_main.xml-程序员宅基地

文章浏览阅读1.6k次。Android Studio使用_activity_main.xml

JSF+EJB+JPA总体思路-程序员宅基地

文章浏览阅读551次。前言: JSF+EJB+JPA 其实我并没有想象中的难,只是想做好,建立在正确的地方应用,真正的困难. 良好的技术,在错误的地方做应用,这是唯一能够被垃圾. 用. 重量级企业应用能够使用这个主要的3层结构的实现,来添加很多其它的企业级应用.而这些基本上不怎么须要改动,能够说是能够独立开来维护的部分.至于耦合性,关键看怎样建立应用了,这个又和项目開始的分析和设计密切相关.目的: 建立..._jsf+ejb+jpa是什么

jsp 页面跳转传值-程序员宅基地

文章浏览阅读259次。2019独角兽企业重金招聘Python工程师标准>>> ..._jsp页面跳转传值

推荐文章

热门文章

相关标签