机器学习笔记 - 性能度量_类别的真实标记与预测-程序员宅基地

技术标签: 机器学习  

在预测任务中, 给定样本集 D={ (x1,y1),(x2,y2),...,(xm,ym)} , 其中 yi 是样本 xi 的真实标记, 要评估学习器的性能, 就要把学习预测结果 f(x) 跟真实的标记进行比较。
回归任务常用均方误差(mean squared error)

E(f;D)=1mi=1m(f(xi)yi)2

更一般的, 对于数据分布 D 和其概率密度函数 p(.) , 均方误差可描述为
E(f:D)=xD(f(x)y)2p(x)dx

错误率与精度

给定样本集 D , 分类错误率定义为

E(f;D)=1mi=1m(f(xi)yi)

精度定义为

acc(f;D)=1mi=1m(f(xi)==yi)

更一般的, 对于数据分布 D 和其概率密度函数 p(.) , 错误率和精度定义为
E(f;D)=xD(f(x)y)p(x)dx

acc(f;D)=xD(f(x)==y)p(x)dx=1E(f;D)

混淆矩阵(Confusion Matrix)

对于二分类问题, 可以将其真实类别和预测类别的组合划分为TP(true positive), FP(false positive), TN(true negative), FN(false negative)四种, 显然 TP + FP + TN + FN = 样本总数。
分类结果的混淆矩阵如下所示

真实情况 预测结果
正例 正例(TP)
正例 反例(TN)
反例 正例(FP)
反例 反例(FN)

查准率 P 与查全率 R

P=TPTP+FP

R=TPTP+TF

 P-R曲线, ROC 与 AUC

P-R 曲线是以P为纵轴, R为横轴作图得到的曲线.
平衡点(Break-Even Point) 是 P == R 时候的取值.
True Positive Rate(TPR)
False Positive Rate(FPR)

TPR=TPTP+FN

FPR=FPTN+FP

ROC曲线就是以TPR为纵轴, FPR为横轴的曲线
AUC(Area Under ROC Curve)

Reference

  • 机器学习 - 周志华 清华大学出版社
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/volvet/article/details/54896830

智能推荐

解决 "OperationalError: (sqlite3.OperationalError) no such table: ..."问题-程序员宅基地

文章浏览阅读9.9k次。参考:flask/sqlalchemy - OperationalError: (sqlite3.OperationalError) no such table在用Flask写一个简单的py文件,做一个表单时,发现在login界面登陆的时候,出现:OperationalError: (sqlite3.OperationalError) no such table: ...错误,这个问题肯定是..._sqlite3.operationalerror: no such table: fromxlsx

freemarker导出excel时office报错而wps不会_expandedrowcount-程序员宅基地

文章浏览阅读1.1w次,点赞9次,收藏15次。由于excel模板是客户提供的,并且较复杂,所以采用freemarker导出会轻松很多。第一次用freemarker按照网上教程(我用的是wps2016):http://blog.csdn.net/u010722643/article/details/417326071、先用excel画好模板然后另存为xml。这里用wps轻松搞定,用office则需要自己写xml模板然后映_expandedrowcount

css transform 角度,CSS 中 transform属性的使用及理解-程序员宅基地

文章浏览阅读1.1k次。概念Transform字面意思就是变形,改变的意思,该元素应用于2D和3D转换,该属性允许我们i元素进行旋转、缩放、移动和倾斜。在css3中transform主要包括以下几种:旋转rotate、扭曲skew、缩放scale和移动translate以及矩阵变形matrix。语法transform: rotate | scale | skew | translate | matrix;注意:表示一个或..._css中transform属性作用

谈谈Python的编译和反编译_pyz反编译-程序员宅基地

文章浏览阅读2.5k次,点赞3次,收藏14次。用Python写脚本,小程序可谓非常方便,但它需要有特定的python环境才能运行,因此如果你想在别的电脑上运行时就会出现许多问题,就算已经安装了Python,但版本可能相差较大,且相关的依赖库没有安装,同样不能正常运行。那有没有一种工具能把我们写的代码和依赖库以及编译环境打包到一起呢?答案是肯定的,Pyinstaller就是一款不错的工具,可以一键把你的代码打包成exe文件。下面就先来聊一聊pyinstaller的使用方法。一、用Pyinstaller打包python代码1. 安装Pyinstal_pyz反编译

R语言 朴素贝叶斯分类预测_程辑包‘synapser’是用r版本4.2.3 来建造的-程序员宅基地

文章浏览阅读4k次,点赞3次,收藏34次。#朴素贝叶斯预测分类问题代码install.packages("e1071") #下载包library(e1071) #加载包classifier=naiveBayes(iris[,1:4],iris[,5]) #构建分类器table(predict(classifier,iris[,-5]),iris[,5]) #生成混淆矩阵classifi..._程辑包‘synapser’是用r版本4.2.3 来建造的

Spingmvc中数据校验和异常处理详解_spring mvc 如何使用spring的验证框架进行数据验证和错误处理。-程序员宅基地

文章浏览阅读4.8k次。*springmvc使用JSR-303校验规范,JSR-303是javaEE6的规范。 springmvc具体使用hibernate-validator校验框架(和hibernate的ORM没有关系),基于的bean的属性校验。* 所以需要导入jar包: 1:springmvc中数据校验的实现1.1注解用法:具体可以参考:hibernate官方文档:http://docs.jboss.org/_spring mvc 如何使用spring的验证框架进行数据验证和错误处理。

随便推点

C++中的“虚”_c++ 虚类-程序员宅基地

文章浏览阅读1.3k次,点赞4次,收藏13次。本博文整理的知识点是C++中有关虚的一切,包括:虚函数,纯虚函数,纯虚类(抽象类),虚基类,虚析构函数、虚基类、虚继承、虚函数表…1.什么是虚函数,有什么作用?前言先理解多态:http://blog.csdn.net/BillCYJ/article/details/79523110,磨刀不误砍柴功。若派生类内定义了一个与基类同名的成员函数(假设是非虚函数的成员函数),该现象称为..._c++ 虚类

PIL加载图片,报错:unknown resampling filter_python pil resize unknown resampling filter-程序员宅基地

文章浏览阅读4.3k次。PIL加载图片,报错:unknown resampling filterFile "/home/xuqiong/anaconda2/envs/ana3501a/lib/python3.6/site-packages/PIL/Image.py", line 1742, in resize raise ValueError("unknown resampling filter")Val..._python pil resize unknown resampling filter

exp: Linux xsel命令(剪切板操作指令)-程序员宅基地

文章浏览阅读1.5k次。#Selection options默认是-p, --primary,所以下面两个是一样的:xselxsel -pecho 111 | xsel -iecho 111 | xsel -i -pecho 222 | xsel -i -secho 333 | xsel -i -bxsel -p #结果为111xsel -s #结果为222xsel -b #结果为333xsel -x # 交换p和sxsel -p #结果为222xsel -s #结果为111xsel -c..._xsel命令

Mendeley插入文献后怎么清除文献域代码?方法之一_mendelay去除文献域 格式发生变化-程序员宅基地

文章浏览阅读4.9k次。Mendeley插入文献后怎么清除文献域代码?mendeley在插入文档时给了我们很多便利。但是它同样存在一个非常不好的情况,就是,用它在word中插入文献之后,会存在文献域代码。如图所示,在点击插入的文献之后会出现图中所示的情况。怎样解决这个问题呢??这里介绍一种方法。。。打开word种的引用,然后点击Export as ,之后选择without mendeley fields.之后会弹出一个窗口,这个窗口其实是将当前的文档 另存为另一个文档,点击保存之后,打开另存为的这个文档得到的就是_mendelay去除文献域 格式发生变化

衍生品——基础知识-程序员宅基地

文章浏览阅读969次,点赞14次,收藏9次。基础知识

ARM开发环境搭建(1)-J-Link烧写u-boot_arm仿真器烧写助手-程序员宅基地

文章浏览阅读690次。2015.5.9实验一:用J-Link调试2440,下载.bin文件到NAND FLASH步骤:(1)连接好jlink,打开J-LINK,会检测到arm,在 commander 命令行输入r, 复位ARM9(2)输入 loadbin ******.bin (相应的bin文件路径名) (要烧写到ARM中的地址)(3)输入setpc 地址 ;确_arm仿真器烧写助手

推荐文章

热门文章

相关标签