邬书豪,车联网数据挖掘工程师 ,R语言中文社区专栏作者。微信ID:tsaiedu
知乎专栏:https://www.zhihu.com/people/wu-shu-hao-67/activities
往期回顾
1912年4月15日,载着1316号乘客和891名船员的豪华巨轮泰坦尼克号与冰山相撞而沉没,这场海难被认为是20世纪人间十大灾难之一。1985年,泰坦尼克号的沉船遗骸在北大西洋两英里半的海底被发现,美国探险家洛维特亲自潜入海底在船舱的墙壁上看见了一幅画,洛维持的发现立刻引起了一位老妇人的注意。已经是102岁高龄的罗丝声称她就是画中的少女,在潜水舱里,罗丝开始叙述她当年的故事:“从前有座山,山里有座庙,庙里......”
步入正文之前,先给大家开了一个玩笑哈。那么现在就是开始认真跟着思路来了啊,首先呢,对于幸存者来说,运气肯定是必不可少的,但是幸存者之中必不可少一些共(主)同(角)特(光)征(环)。那么下面我们就在train中一起探索一下到底这些幸存者都有什么特征......
## 加载所需程序包
library(Rmisc)
library(VIM)
library(ggplot2)
library(dplyr)
library(magrittr)
library(caret)
在女孩子面前就是“包治百病”,在R用户手中同样是“包治百病”啊!包包很重要,对后续分析就是简单粗暴。
train <- read.csv('../input/train.csv', stringsAsFactors = F, na.strings = c("NA", ""))
test <- read.csv('../input/test.csv', stringsAsFactors = F, na.strings = c("NA", ""))
dim(train); dim(test)
str(train)
names(test)
首先查看了两个数据集的维度:train是891行,12列;test是418行,11列。
然后带着这个列数不同的问题,使用str()去查看trian的数据结构,除了各个变量的类型和大致情况,顺便得到了变量名称。
最后查看test的列名称,对比train的列名称,发现test中缺少“Survived”变量(因变量),其他均正常,切合实际。
test$Survived <- NA
alldata <- rbind(train, test)
summary(aggr(alldata, prop = F, numbers = T))
alldata[c('Sex', 'Survived')] %<>% lapply(as.factor)
从上图可以看出Survived变量存在418个缺失值,也就是合并的test的Survived个数;Age缺失263个;Fare缺失1个;Cabin缺失1014个;Embarked缺失2个。
## 因变量探索
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = Survived, fill = Survived)) +
geom_bar(width = 0.8) +
geom_label(stat = 'count', aes(label = ..count..)) +
theme_bw()
在train中一共有891个样本,其中549位人员不幸死亡,342位幸存。从样本量来看,不属于特别不平衡,后续分析先不考虑样本不平衡问题。
## 自变量 VS 因变量
### Pclass / Sex / Pcalss & Sex VS Survived
## Pclass VS Survived
alldata$Pclass <- as.ordered(alldata$Pclass)
p_Pclass1 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = Pclass, fill = Survived)) +
geom_bar(position = 'stack', width = 0.8) +
guides(fill = 'none') +
labs(title = '(a)') +theme_bw()
p_Pclass2 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = Pclass, fill = Survived)) +
geom_bar(position = 'fill', width = 0.8) +
labs(title = '(b)') +theme_bw()
## Sex VS Survived
p_Sex1 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = Sex, fill = Survived)) +
geom_bar(position = 'stack', width = 0.8) +
guides(fill = 'none') +
labs(title = '(c)') +theme_bw()
p_Sex2 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = Sex, fill = Survived)) +
geom_bar(position = 'fill', width = 0.8) +
labs(title = '(d)') +theme_bw()
## Pclass & Sex VS Survived
alldata <- within(alldata, {
PclassSex <- ''
PclassSex[Pclass == '1' & Sex == 'male'] <- 'PM1'
PclassSex[Pclass == '2' & Sex == 'male'] <- 'PM2'
PclassSex[Pclass == '3' & Sex == 'male'] <- 'PM3'
PclassSex[Pclass == '1' & Sex == 'female'] <- 'PF1'
PclassSex[Pclass == '2' & Sex == 'female'] <- 'PF2'
PclassSex[Pclass == '3' & Sex == 'female'] <- 'PF3'})
p_PS1 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = PclassSex, fill = Survived)) +
geom_bar(position = 'stack', width = 0.8) +
guides(fill = 'none') +
labs(title = '(e)') +theme_bw()
p_PS2 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = PclassSex, fill = Survived)) +
geom_bar(position = 'fill', width = 0.8) +
labs(title = '(f)') +
theme_bw()
multiplot(p_Pclass1, p_Pclass2, p_Sex1, p_Sex2, p_PS1, p_PS2,
layout = matrix(1:6, nrow = 3, byrow = T))
运行此代码块,可以绘制出6张图片,横向两两对应(堆积柱状图---百分比堆积柱状图)。
整体而言,从图(a)、(c)、(d)中可得出不同Pclass、Sex和PclassSex的总个数和其对应的是否幸存的个数。
通过图(b)、(d)、(e)中可得出不同Pclass、Sex和PclassSex中的是否幸存占比。
上图总结:
·船上第三类票型最多、其次就是第一类、最后是第二类;幸存人数占比从高到低一次是第一、二、三类票型。
·船上的男性居多、女性的幸存率高很多。
·持有一类票的女性幸存率最高,其次就是持有二类票的女性,都将近全部幸存;其他分类的幸存率则低了很多,最低的就是持有三类票的男性。
### Age / AgeGroup VS Survived
## Age VS Survived
alldata$Age <- ifelse(is.na(alldata$Age), mean(alldata$Age, na.rm = T), alldata$Age)
p_Age1 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = Age)) +
geom_histogram(fill = '#63B8FF') +
guides(fill = 'none') +
labs(title = '(a)') +theme_bw()
p_Age2 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = Age, fill = Survived)) +
geom_histogram(position = 'identity', alpha = 0.6) +
labs(title = '(b)') +
theme_bw()
## AgeGroup VS Survived
alldata <- within(alldata, {
AgeGroup <- ''
AgeGroup[Age < 18] <- 'nonage'
AgeGroup[Age >= 18] <- 'adult'})
p_AG1 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = AgeGroup, fill = Survived)) +
geom_bar(width = 0.8) +
guides(fill = 'none') +
labs(title = '(c)') +
theme_bw()
p_AG2 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = AgeGroup, fill = Survived)) +
geom_bar(position = 'fill', width = 0.8) +
labs(title = '(d)') +theme_bw()
multiplot(p_Age1, p_Age2, p_AG1, p_AG2,
layout = matrix(1:4, nrow = 2, byrow = T))
根据年龄直方图(a)可以看出船上乘客年龄的分布:20-40岁的人员居多,最大的达到了80岁;通过(b)并不能显而易见地探索出年龄和是否幸存的关系。
我们对年龄进行分组(未成年人和成年人),这样可以看出:未成年人的幸存率较高,但是也不是特别的明显(估计是小孩子荒野求生能力比较低吧)。
### SibSp / Parch / SibSp & Parch VS Survived
## SibSp VS Survived
p_SibSp1 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = SibSp, fill = Survived)) +
geom_bar() +
guides(fill = 'none') +
labs(title = '(a)') +theme_bw()
p_SibSp2 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = SibSp, fill = Survived)) +
geom_bar(position = 'fill') +
labs(title = '(b)') +theme_bw()
p_Parch1 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = Parch, fill = Survived)) +
guides(fill = 'none') +
geom_bar() +
labs(title = '(c)') +theme_bw()
p_Parch2 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = Parch, fill = Survived)) +
geom_bar(position = 'fill') +
labs(title = '(d)') +theme_bw()
alldata$FamilySize <- alldata$SibSp + alldata$Parch + 1
p_FS1 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = FamilySize, fill = Survived)) +
geom_bar() +
guides(fill = 'none') +
labs(title = '(e)') +theme_bw()
p_FS2 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = FamilySize, fill = Survived)) +
geom_bar(position = 'fill') +
labs(title = '(f)') +
theme_bw()
alldata <- within(alldata, {
FamilySize2 <- ''
FamilySize2[FamilySize < 2 | FamilySize > 4] <- 'low'
FamilySize2[FamilySize >= 2 & FamilySize <= 4] <- 'high'})
p_FS21 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = FamilySize2, fill = Survived)) +
geom_bar() +
guides(fill = 'none') +
labs(title = '(g)') +theme_bw()
p_FS22 <-
alldata %>%
.[!is.na(.$Survived), ] %>%
ggplot(aes(x = FamilySize2, fill = Survived)) +
geom_bar(position = 'fill') +
labs(title = '(h)') +
theme_bw()
multiplot(p_SibSp1, p_SibSp2, p_Parch1, p_Parch2, p_FS1, p_FS2, p_FS21, p_FS22,
layout = matrix(1:8, nrow = 4, byrow = T))
这8张图片分别是兄弟姐妹配偶、父母孩子、家庭总人数和家庭大小的堆积柱状图和百分比堆积柱状图。通过前6张图同样不能明显的探索出家庭人数与幸存率的关系,然后根据家庭人数分类之后,可以看出人数为2-5的家庭存活率较高。
这次的分析探索到此暂停一段落,有兴趣的读者可以好好的消化一下代码。第二期就是剩余的可视化、交叉验证、模型建立和评估,敬请期待......
注:本案例不提供数据集,如果要学习完整案例,点击文章底部阅读原文或者扫描课程二维码,购买包含数据集+代码+PPT的《kaggle十大案例精讲课程》,购买学员会赠送文章的数据集。
《kaggle十大案例精讲课程》提供代码+数据集+详细代码注释+老师讲解PPT!综合性的提高你的数据能力,数据处理+数据可视化+建模一气呵成!
相关课程推荐
文章浏览阅读1k次。通过使用ajax方法跨域请求是浏览器所不允许的,浏览器出于安全考虑是禁止的。警告信息如下:不过jQuery对跨域问题也有解决方案,使用jsonp的方式解决,方法如下:$.ajax({ async:false, url: 'http://www.mysite.com/demo.do', // 跨域URL ty..._nginx不停的xhr
文章浏览阅读2k次。关于在 Oracle 中配置 extproc 以访问 ST_Geometry,也就是我们所说的 使用空间SQL 的方法,官方文档链接如下。http://desktop.arcgis.com/zh-cn/arcmap/latest/manage-data/gdbs-in-oracle/configure-oracle-extproc.htm其实简单总结一下,主要就分为以下几个步骤。..._extproc
文章浏览阅读1.5w次。linux下没有上面的两个函数,需要使用函数 mbstowcs和wcstombsmbstowcs将多字节编码转换为宽字节编码wcstombs将宽字节编码转换为多字节编码这两个函数,转换过程中受到系统编码类型的影响,需要通过设置来设定转换前和转换后的编码类型。通过函数setlocale进行系统编码的设置。linux下输入命名locale -a查看系统支持的编码_linux c++ gbk->utf8
文章浏览阅读750次。今天准备从生产库向测试库进行数据导入,结果在imp导入的时候遇到“ IMP-00009:导出文件异常结束” 错误,google一下,发现可能有如下原因导致imp的数据太大,没有写buffer和commit两个数据库字符集不同从低版本exp的dmp文件,向高版本imp导出的dmp文件出错传输dmp文件时,文件损坏解决办法:imp时指定..._imp-00009导出文件异常结束
文章浏览阅读143次。当下是一个大数据的时代,各个行业都离不开数据的支持。因此,网络爬虫就应运而生。网络爬虫当下最为火热的是Python,Python开发爬虫相对简单,而且功能库相当完善,力压众多开发语言。本次教程我们爬取前程无忧的招聘信息来分析Python程序员需要掌握那些编程技术。首先在谷歌浏览器打开前程无忧的首页,按F12打开浏览器的开发者工具。浏览器开发者工具是用于捕捉网站的请求信息,通过分析请求信息可以了解请..._初级python程序员能力要求
文章浏览阅读7.6k次,点赞2次,收藏6次。@Service标注的bean,类名:ABDemoService查看源码后发现,原来是经过一个特殊处理:当类的名字是以两个或以上的大写字母开头的话,bean的名字会与类名保持一致public class AnnotationBeanNameGenerator implements BeanNameGenerator { private static final String C..._@service beanname
文章浏览阅读6.9w次,点赞73次,收藏463次。1.前序创建#include<stdio.h>#include<string.h>#include<stdlib.h>#include<malloc.h>#include<iostream>#include<stack>#include<queue>using namespace std;typed_二叉树的建立
文章浏览阅读7.1k次。在Asp.net上使用Excel导出功能,如果文件名出现中文,便会以乱码视之。 解决方法: fileName = HttpUtility.UrlEncode(fileName, System.Text.Encoding.UTF8);_asp.net utf8 导出中文字符乱码
文章浏览阅读2.1k次,点赞4次,收藏23次。第一次实验 词法分析实验报告设计思想词法分析的主要任务是根据文法的词汇表以及对应约定的编码进行一定的识别,找出文件中所有的合法的单词,并给出一定的信息作为最后的结果,用于后续语法分析程序的使用;本实验针对 PL/0 语言 的文法、词汇表编写一个词法分析程序,对于每个单词根据词汇表输出: (单词种类, 单词的值) 二元对。词汇表:种别编码单词符号助记符0beginb..._对pl/0作以下修改扩充。增加单词
文章浏览阅读773次。我在使用adb.exe时遇到了麻烦.我想使用与bash相同的adb.exe shell提示符,所以我决定更改默认的bash二进制文件(当然二进制文件是交叉编译的,一切都很完美)更改bash二进制文件遵循以下顺序> adb remount> adb push bash / system / bin /> adb shell> cd / system / bin> chm..._adb shell mv 权限
文章浏览阅读6.8k次,点赞12次,收藏125次。1. 单目相机标定引言相机标定已经研究多年,标定的算法可以分为基于摄影测量的标定和自标定。其中,应用最为广泛的还是张正友标定法。这是一种简单灵活、高鲁棒性、低成本的相机标定算法。仅需要一台相机和一块平面标定板构建相机标定系统,在标定过程中,相机拍摄多个角度下(至少两个角度,推荐10~20个角度)的标定板图像(相机和标定板都可以移动),即可对相机的内外参数进行标定。下面介绍张氏标定法(以下也这么称呼)的原理。原理相机模型和单应矩阵相机标定,就是对相机的内外参数进行计算的过程,从而得到物体到图像的投影_相机-投影仪标定
文章浏览阅读2.2k次。文章目录Wayland 架构Wayland 渲染Wayland的 硬件支持简 述: 翻译一篇关于和 wayland 有关的技术文章, 其英文标题为Wayland Architecture .Wayland 架构若是想要更好的理解 Wayland 架构及其与 X (X11 or X Window System) 结构;一种很好的方法是将事件从输入设备就开始跟踪, 查看期间所有的屏幕上出现的变化。这就是我们现在对 X 的理解。 内核是从一个输入设备中获取一个事件,并通过 evdev 输入_wayland