【2023】hadoop基础介绍_hadoop参考文献2023-程序员宅基地

技术标签： python  数据分析  hadoop  分布式  大数据  

目录

Hadoop组成

hadoop安装教程可以看我这篇文章===> hadoop通过docker安装

  • HDFS组件：是Hadoop内的分布式存储组件，可以构建分布式文件系统用于数据存储。
  • MapReduce组件：MapReduce是Hadoop内分布式计算组件。提供编程接口供用户开发分布式计算程序。
  • YARN组件：YARN是Hadoop内分布式资源调度组件。可供用户整体调度大规模集群的资源使用。

HDFS

分布式存储：主从架构——架构角色

  • 主角色：Master（NameNode）
  • 从角色：Slave（DataNode）
  • 主角色的辅助角色：（SecondaryNameNode）
    • 处理合并edits为fsimage：会通过http从NameNode拉取数据（edits和fsimage），然后合并完成后提供给NameNode使用。

HDFS操作

  • HDFS文件系统基本信息

    操作命令添加协议头就会分别是对对应的系统执行，如果不带是会按照

    在这里插入图片描述

  • 操作命令

不同版本命令开头

# 老版本
hadoop fs 
# 新版本
hdfs dfs

在这里插入图片描述

命令使用在这里插入图片描述

  • 上传文件到hdfs文件系统中
# hdfs dfs -put linux路径 HDFS文件路径
hdfs dfs -put ./test2.test /

在这里插入图片描述

  • 下载HDFS文件到linux中
# hdfs dfs -get HDFS文件路径 linux路径
hdfs dfs -get /.test.txt /

在这里插入图片描述

  • 拷贝HDFS文件和移动
#拷贝文件
hdfs dfs -cp 源路径 粘贴路径

#移动文件
hdfs dfs -mv 源路径 粘贴路径

在这里插入图片描述

  • 追加数据到HDFS文件

    HDFS只能追加和删除，不能修改

htfs -dfs -appendToFile

在这里插入图片描述

  • 查看文件和删除文件
#查看文件内容
htfs -dfs -cat 文件
#删除文件和文件夹（删除文件不用加-r，删除文件夹需要加-r）
htfs dfs -rm -r 文件路径

删除文件看是否需要添加回收站

在这里插入图片描述

html查看文件

在这里插入图片描述

产品插件用于使用：Big Data Tools

在这里插入图片描述

配置插件

在这里插入图片描述

HDFS分布式文件存储

hdfs存储的管理单位是叫 block块

通过分布式的方式进行存储5，为了避免block块丢失，一般会进行冗余备份（通过添加副本块的方式备份），避免文件丢失

在这里插入图片描述

NameNode元数据

  • edits文件———流水帐文件

在这里插入图片描述

  • FSlmage文件———最终文件（保存最终结果）

在这里插入图片描述

  • 执行流程

在这里插入图片描述

数据读写流程

在进行读写时，会优先读写到网络距离最近的那台dataNode给客户端进行读写，实现读写的最优解。

  • 数据写入流程

在这里插入图片描述

在这里插入图片描述

  • 数据读取流程

    在这里插入图片描述

YARN和MapReduce

  • 分布式（数据）计算
    • 分散—>汇总模式
      1. 将数据分片，多台服务器负责一部分数据处理
      2. 然后将各种的数据进行汇总
    • 中心调度—>步骤执行模式
      1. 由一个节点作为中心调度管理者
      2. 将任务划分为几个具体步骤
      3. 管理者安排每个机器执行任务
      4. 最终得到结果数据

MapReduce：分布式计算

采用的是分散—>汇总模式进行分布式计算

提供了2个编程接口

  • Map：分散
  • Reduce：汇总

在这里插入图片描述

YARN：资源管控调度

将资源统一管控进行分配可以提供资源利用率

MapReduce和YARN的关系

  • YARN用来调度资源给MapReduce分配和管理运行资源
  • 所以,MapReduce需要YARN配合使用

YARN架构

YARN采用的也是主从架构

核心角色

  • ResourceManager：整个集群的资源调度者，负责协调调度各国程序所需要的资源。
  • NodeManager：单个服务器的资源调度者，负责调度单个服务器上的资源提供给应用程序使用

辅助角色

  • ProxyServer：代理服务器
  • JobHistoryServer：历史服务器

在这里插入图片描述

YARN集群启动和停止命令（mapReduce无需启动任何进程）

#一键启动： 
$HADOOP_HOME/sbin/start-yarn.sh
#一键关闭
$HADOOP_HOME/sbin/stop-yarn.sh

#历史服务器启动和停止
mapred --daemon start｜stop historyserver

查看YARN的web页面通过8088端口

在这里插入图片描述

提交任务到YARN中运行

在这里插入图片描述
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52315708/article/details/135279405

智能推荐

scrapy_当你准备启动一个项目时,可以从这个教程开始-程序员宅基地

文章浏览阅读446次。scrapyScrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。_当你准备启动一个项目时,可以从这个教程开始

树莓派中SIM7600G-H 4G DONGLE模块使用记录(二)使用花生壳服务器实现数据的远程传输_树莓派有sim卡模块吗-程序员宅基地

文章浏览阅读4.7k次，点赞11次，收藏18次。项目场景：在之前对树莓派进行PPP拨号上网/4G上网后，需要对树莓派中采集到的数据远程上传，并能接收云端软件下达的指令。然而在实现过程中，我们并不能够直接通过ITCP/IP通信实现数据的远程传输，还需要一个服务器作为中间桥梁，将云端主机的IP端口映射在全网上，这样树莓派才能通过映射后的IP地址与云端主机建立连接，实现数据的远程传输。花生壳花生壳是一款能够免费进行内网穿透与端口映射的服务器工具，可以在官网上直接搜索无需配置。支持多种通信格式，这里我们使用TCP通信类型。网络调试助手由于项目主体_树莓派有sim卡模块吗

先是IPV6，再是WI-FI7你都清楚这是什么吗？_ipv6和wifi6有什么区别-程序员宅基地

文章浏览阅读825次。先是IPV6，再是WI-FI7你都清楚这是什么吗？_ipv6和wifi6有什么区别

【SSM学习】6、Mybatis 动态sql语句实例详解_"<update id=\"updateworkstatebyid\"> update employ-程序员宅基地

文章浏览阅读1.9k次。首先我们给出一个Mapper配置文件，用于参照使用，下面给出详细介绍&amp;amp;amp;amp;amp;lt;?xml version=&amp;amp;amp;amp;quot;1.0&amp;amp;amp;amp;quot; encoding=&amp;amp;amp;amp;quot;UTF-8&amp;amp;amp;amp;quot; ?&amp;amp;amp;amp;amp;gt;&amp;amp;amp;amp;amp;l_" update employee set

Python爬虫神器pyppeteer-程序员宅基地

文章浏览阅读1.7w次，点赞18次，收藏119次。Puppeteer 是 Google 基于 Node.js 开发的工具，调用 Chrome 的 API，通过 JavaScript 代码来操纵 Chrome 完成一些操作，用于网络爬虫、Web 程序自动测试等。pyppeteer 是非官方 Python 版本的 Puppeteer 库。_pyppeteer

[更新中] NGS常见软件和数据库（肿瘤/遗传病）_hapmap数据库-程序员宅基地

文章浏览阅读1.6k次。变异分析_hapmap数据库

随便推点

0x000000ea(0x000000ea蓝屏代码是什么意思)-程序员宅基地

文章浏览阅读2.1k次。蓝屏错误代码0X000000EA(0X85AFDDA0，OX89?0x000000EA错误表示显示驱动程序遇到了问题。这个错误一般是因为显卡或显示器的驱动程序存在BUG或安装不正确引起的。 如果遇到0x000000EA错误，建议在Windows中重新安装显卡及显示器驱动程序，看看问题能否解决；如果故障依旧，请使用“替换..._0x000000ea

【Office】解决Excel关闭Personal工作簿导致宏不见的情况_个人宏工作簿不见了-程序员宅基地

文章浏览阅读1w次。问题：Excel想要编辑或者删除宏，都要先取消隐藏这个PERSONAL的工作簿今天取消隐藏之后，顺手就关掉了，然后就发现自己保存的宏不见了解决：找出文件PERSONAL.XLSB并重新打开即可解决过程：在网上找了一番，大概是因为我把宏保存到个人工作簿中（就是PERSONAL.XLSB）然后，实际上，我们打开Excel的时候也会同时在隐藏中打开PERSONAL.XLSB和..._个人宏工作簿不见了

FPGADesigner《FPGA数字信号处理系列》目录与传送门_使用matlab与fpga实现2ask的调制与解调-程序员宅基地

文章浏览阅读1.8w次，点赞57次，收藏364次。本系列介绍Alter/Xilinx FPGA中各种数字信号处理算法的实现，学习各种DSP IP核的使用方法，以及DSP算法的设计思路和关键问题。_使用matlab与fpga实现2ask的调制与解调

队列（2）----用数组实现队列_面试题:请用数组实现一个队列-程序员宅基地

文章浏览阅读816次。1、定义typedef struct QueElement_t_ { void *data;} QueElement_t;typedef struct Que_t_{ int size; int capacity; int head; int tail; int (*destroy)(void *data ); QueElement_面试题:请用数组实现一个队列

matlab fft 函数 全面详解 横坐标定标 幅度恢复等_matlab fft 幅值单位-程序员宅基地

文章浏览阅读2.2k次。相关解释都在注释里了，写的很详细。% matlab version 2020b% time 20211108% zzx fft for newer%%clc;clear;close all;%% 以下步骤是循序渐进的，是按照推理过程编写的：% -----------------step1 确定信号幅度A1=7;A2=3; % -----------------step2 确定信号的频率f0=20;%单位：Hz or kHz or其他，这个不影响，为了描述方便，后续都不再带单位。f_matlab fft 幅值单位

Vue-cli4 配置 element-ui 按需引入_let whitelistedmodules = [‘vue’, ‘element-ui’] 在cl-程序员宅基地

文章浏览阅读1.2w次，点赞9次，收藏11次。在按照element-ui文档和网上各个文章的描述方式都未能正确配置出按需加载的功能。经小编一番摸索之后，终于搞定了，本篇文章记录实现的全过程#1 node与vue的版本情况#2未按需加载打包后的文件情况由上图看出，只是引入了 element-ui框架后，js文件急剧的上升到了 783KB，这显然是不能接受的。element-ui按需加载文档：https://e..._let whitelistedmodules = [‘vue’, ‘element-ui’] 在cli4上怎么设置

推荐文章

热门文章

相关标签