大数据理论体系_大数据的基本理论体系-程序员宅基地

技术标签： 大数据理论体系  大数据  

序言

2018~2021 年期间，笔者阅读了200+大数据相关的书籍和专栏。

本专栏为笔者，在多年读书笔记的基础上，结合自身的大数据开发心得体会，呕心沥血之作。

来点关注吧，万分感谢！

本专栏姊妹篇

1000个问题搞定大数据技术体系

100个问题搞定Java虚拟机

技术分享 PPT

这里分享一下笔者曾经使用过的关于大数据怎样入门的技术分享 PPT：

大数据从0到1 .pptx

目录结构

  1. 大数据是什么？
  2. 大数据有哪些特征？
  3. 大数据和云计算有什么关系？
  4. 大数据和人工智能有什么关系？
  5. 大数据是如何发展起来的？
  6. 大数据处理的基本流程是什么？
  7. 数据质量如何评测？
  8. 什么是ETL？
  9. 大数据开发主要做什么？
  10. 大数据技术框架有哪些类型？
  11. 为什么说数据不动代码动？移动计算比移动数据更划算？
  12. DAG对大数据处理有什么好处？
  13. 批处理和流处理如何区分？ 有边界数据和无边界数据如何区分？
  14. 批处理中如何提高CPU利用率？
  15. 什么是事件时间和处理时间？
  16. Workflow设计模式指的什么？
  17. 分布式锁是什么？如何实现？
  18. 分布式事务是什么？如何实现？
  19. 分布式锁和分布式事务有什么区别？
  20. CAP定理是什么？
  21. BASE理论是什么？
  22. 分布式系统有哪些衡量指标？
  23. 一致性模型有哪些？
  24. SLA是什么？
  25. 如何预估系统QPS？
  26. 你怎么看待发布订阅模式的？
  27. 发布与订阅模式和观察者模式有什么不同？
  28. 分布式系统数据分片有哪些方式？
  29. 一致性哈希是什么？
  30. 为什么要将数据序列化？
  31. 数据压缩算法该如何选择？
  32. 分布式系统中序列化框架该如何选择？
  33. Protobuf是什么？
  34. Apache Thrift是什么？
  35. Apache Avro是什么？
  36. Kryo是什么？
  37. 列式存储和行式存储有什么区别？
  38. 列式存储格式该如何选择？
  39. ORCFile是什么？
  40. Parquet是什么
  41. 数据仓库是什么？
  42. 数据仓库与数据库的区别？
  43. OLTP和OLAP的区别？
  44. 数据仓库是如何分层的？
  45. 数据仓库是如何建模的？
  46. 什么是事实表和维度表？
  47. 什么是商业智能（BI）？
  48. 从系统架构角度出发，服务器该如何分类？
  49. MPPDB是什么？
  50. MPPDB和Hadoop有什么区别？
  51. 数据仓库应该选择哪种服务器架构？
  52. 并行计算模型有哪些？
  53. BSP和MapReduce有什么区别？
  54. OLAP有哪些实现方法？
  55. Cube技术是什么？
  56. NoSQL是什么？
  57. 负载均衡是什么？
  58. 负载均衡算法有哪些？
  59. 分布式系统中转发如何实现？
  60. 大数据资源调度框架有什么作用？
  61. 资源调度有什么技术难点？
  62. 多租户技术是什么？
  63. 你认为传统的Yarn、Mesos调度方案存在哪些缺陷？
  64. 什么是倒排索引？
  65. 什么是企业数据？
  66. 什么是数据湖？为什么需要数据湖？
  67. 数据湖中数据的生命周期是怎样的？
  68. 数据仓库、数据集市和数据湖有什么区别？
  69. 什么是Lambda架构？
  70. 什么是Kappa架构？
  71. 如何将Lambda架构应用到数据湖？数据湖中的功能模块有哪些？
  72. 企业数据湖面临哪些挑战？
  73. RAID技术到底是什么？
  74. 为什么需要工作流调度系统？
  75. 为什么要有消息队列/消息引擎系统？
  76. 什么是云原生数据库？
  77. 数据库领域的未来发展趋势是怎样的？

参考文献

  1. 极客时间专栏《从0开始学大数据》李智慧
  2. 极客时间专栏《大规模数据处理实战》蔡元楠
  3. 《云计算中的大数据技术与应用》 梁凡著
  4. 《大数据开发与应用》青岛英谷教育科技股份有限公司，山东工商学院编著
  5. 《大数据技术体系详解:原理、架构与实战》董西成著
  6. 《Hadoop大数据挖掘从入门到进阶实战:视频教学版》邓杰编著
  7. 《大数据架构详解:从数据获取到深度学习》朱洁，罗华霖编著
  8. 《Kafka权威指南》(美)妮哈・纳克海德( Neha Narkhede),(美)格温・沙皮拉( Gwen Shapira) (美)托德・帕利诺( Todd Paino)著;薛命灯译》/(美)妮哈・纳克海德( Neha Narkhede),(美)格温・沙皮拉( Gwen Shapira) (美)托德・帕利诺( Todd Paino)著;薛命灯译
  9. 《Hadoop大数据技术原理与应用》黑马程序员编著
  10. 《企业数据湖》(印)汤姆斯・约翰(Tomcy John),(印)潘卡・米斯拉(Pankaj Misra)著张世武,李想,张浩林译
  11. 《大数据技术及应用探究》胡沛,韩璞著
  12. 《Hadoop & Spark大数据开发实战》肖睿、雷刚跃主编
  13. CS-Notes
  14. ClickHouse官网
  15. ClickHouse深度揭秘
  16. 什么是分布式事务以及有哪些解决方案？
  17. 分布式理论(二)——Base 理论
  18. 分布式系统衡量指标
  19. 百度百科 顺序一致性模型
  20. 通俗易懂 强一致性、弱一致性、最终一致性、读写一致性、单调读、因果一致性 的区别与联系
  21. 分布式系统学习——数据分片
  22. 带着问题学习分布式系统之数据分片
  23. 百度百科 一致性哈希
  24. Apache Thrift系列详解(一) - 概述与入门
  25. 初探Protostuff的使用
  26. 高性能的序列化与反序列化：kryo的简单使用
  27. 大数据小视角2：ORCFile与Parquet，开源圈背后的生意
  28. 新一代列式存储格式Parquet
  29. Parquet的那些事（一）基本原理
  30. 再来聊一聊Parquet 列式存储格式
  31. MPP(大规模并行处理)简介
  32. MPP架构
  33. 百度百科 NoSQL
  34. 大数据里常见的几种压缩格式压缩
  35. zstd，未来可期的数据压缩算法
  36. Is zstd splitabble in hadoop/spark/etc?
  37. 阿里云李飞飞：什么是云原生数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Shockang/article/details/115609804

智能推荐

c# 调用c++ lib静态库_c#调用lib-程序员宅基地

文章浏览阅读2w次，点赞7次，收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加 外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案，在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建：添加Visual C++ , Win32 项目这......_c#调用lib

deepin/ubuntu安装苹方字体-程序员宅基地

文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体，挺好看的。注重颜值的网站都会使用，例如知乎：font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang

html表单常见操作汇总_html表单的处理程序有那些-程序员宅基地

文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--action,当提交表单时，向何处发送表单中的数据，地址可以是相对地址也可以是绝对地址--><!--method将表单中的数据传送给服务器处理，get方式直接显示在url地址中，数据可以被缓存，且长度有限制；而post方式数据隐藏传输，_html表单的处理程序有那些

PHP设置谷歌验证器（Google Authenticator）实现操作二步验证_php otp 验证器-程序员宅基地

文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证（即Google Authenticator服务）后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器

【Python】matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距-程序员宅基地

文章浏览阅读4.3k次，点赞5次，收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距

docker — 容器存储_docker 保存容器-程序员宅基地

文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节，实现了多层数据的堆叠，为用户 提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制（CoW）策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的，不建议用于生成环境。_docker 保存容器

随便推点

网络拓扑结构_网络拓扑csdn-程序员宅基地

文章浏览阅读834次，点赞27次，收藏13次。网络拓扑结构是指计算机网络中各组件（如计算机、服务器、打印机、路由器、交换机等设备）及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式，也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn

JS重写Date函数，兼容IOS系统_date.prototype 将所有 ios-程序员宅基地

文章浏览阅读1.8k次，点赞5次，收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时，通常的做法是：new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的，而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠，也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑，需要做一些额外的特殊处理，笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数，一劳永逸，避免每次ne_date.prototype 将所有 ios

如何将EXCEL表导入plsql数据库中-程序员宅基地

文章浏览阅读5.3k次。方法一：用PLSQL Developer工具。 1 在PLSQL Developer的sql window里输入select * from test for update; 2 按F8执行 3 打开锁, 再按一下加号. 鼠标点到第一列的列头，使全列成选中状态，然后粘贴，最后commit提交即可。（前提..._excel导入pl/sql

Git常用命令速查手册-程序员宅基地

文章浏览阅读83次。Git常用命令速查手册1、初始化仓库git init2、将文件添加到仓库git add 文件名 # 将工作区的某个文件添加到暂存区 git add -u # 添加所有被tracked文件中被修改或删除的文件信息到暂存区，不处理untracked的文件git add -A # 添加所有被tracked文件中被修改或删除的文件信息到暂存区，包括untracked的文件...

分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120-程序员宅基地

文章浏览阅读202次。分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120

【C++缺省函数】 空类默认产生的6个类成员函数_空类默认产生哪些类成员函数-程序员宅基地

文章浏览阅读1.8k次。版权声明：转载请注明出处 http://blog.csdn.net/irean_lau。目录(?)[+]1、缺省构造函数。2、缺省拷贝构造函数。3、 缺省析构函数。4、缺省赋值运算符。5、缺省取址运算符。6、 缺省取址运算符 const。[cpp] view plain copy_空类默认产生哪些类成员函数

推荐文章

热门文章

相关标签