巨杉数据库 CTO 王涛:新一代分布式数据库-程序员宅基地

2019数据技术嘉年华于11月16日在京落下了帷幕。大会历时两天,来自全国各地上千名学术精英、数据库领袖人物、数据库专家、技术爱好者在这里汇聚一堂,围绕“开源 • 智能 • 云数据 - 自主驱动发展 创新引领未来”的大会主题,共享"开源自研,云和数据,智能运维,智能业务,数据前沿,用户实践"六大主题盛宴。

在此小编为大家精心准备了“2019数据技术嘉年华——大咖演讲系列整理”,没来参会的朋友们,可以通过我们的系列报道,了解在本次大会中最新的数据行业资讯。爱好技术的朋友们不可错过哦~


本文是小编依据王涛老师在“2019数据技术嘉年华”大会现场演讲速记稿整理而来。

关注公众号“数据和云”,回复: 2019dtc ,更多精彩ppt等你下载!(PPT还在不断更新当中,请持续关注)

640?wx_fmt=jpeg
SequoiaDB 巨杉数据库 CTO

各位尊敬的领导、各位专家,大家早上好! 今天非常荣幸能够参与这次“2019数据技术嘉年华”大会,我是巨杉数据库的CTO 王涛,今天我汇报的主题是:“ 新一代分布式数据库”。

分布式数据库也并不是最近几年刚兴起的词语,我自己原来做IBM  DB2的,可能很多人不知道DB2是支持分布式事务的关系型数据库。 IBM  DB2从上世纪90年代开始做分布式数据库,同时也支持分布式事务。

先来回顾一下 整个数据库的行业是怎样发展的,当前整个数据库的行业分布是什么样的。 从数据库的发展史来看,大家都知道关系型数据库并不是最古老的数据库,它从上个世纪70年代发展而来,这之前有IBM类似网状或者层次性的数据库, 到了70年代IBM研究员发表了关系型数据库的论文才促成第一款关系型数据库Oracle的诞生。 关系型数据库作为一个巨无霸,像Oracle、DB2一统江湖到了现在。 就 像现在很多新型数据库,包括我们也都开始支持分布式的事务, 比如说MongoDB这一类 也在开始支持分布式的交易,向很多事务型数据库靠拢。

在几十年过程当中,我们发现除了软件本身之外最大的变化是硬件。 从最开始的大型主机到90年代的小型机,直到现在大家使用PC服务器做部署,数据库发展和硬件发展息息相关绑在一起。

640?wx_fmt=png
数据库行业的技术发展路线

随着金融业务的移动互联网化和智能化,传统数据库已经无法应对数据量大、系统架构僵化及成本过高等诸多问题。 与此同时,这些问题的存在也成为推动传统业务向 分布式架构转型的驱动力

640?wx_fmt=png

分布式架构转型的驱动力

所以我们认为分布式数据库当前要解决的问题,它的目标是什么? 它有两个目标:第一是要解决数据的弹性扩展,一个机器存不下用十个机器来存; 第二,我们认为微服务的应用架构中,它所面临的严重的数据碎片化的问题,过去用一个数据库搞定的事现在用一百个数据库,怎么管理怎么使用这些数据库。

当前数据库的业界有几种做法:
第一种做法,这种做法最直接、最常规就是应用程序的改造。 这样我们对底层数据库使用最传统的类似于Oracle或者DB2传统数据库,从应用程序层面我们把一个紧耦合数据库拆分成上百个服务,这种机制依然存在数据的瓶颈,包括它的数据紧耦合,无法弹性扩张还有单点故障的问题,还有一个连接处极速增加。 这样对于传统数据库来讲压力非常大。
第二种做法,每一组的微服务对应一个独立的小数据库。 往往大家使用像MySQL或者像PG这种数据库来做。 这种机制它是能够解决集中式存储的问题,但是会带来新的巨大的挑战,数据的碎片化以及运维非常难的问题。 比如这种架构之下,假设上面四个微服务是来自同一个业务它的四个不同的模块,比如一个是用户账户,如果我们现在有一个应用报表需要来看某一个账户相关的登陆请求,我的数据分散多个子的数据库里,我想把它联合的集中起来是非常困难的。

所以我们认为真正的分布式数据库它要做的架构是什么样子?在某种程度,现在很多人说云数据库但我们认为整个思路都是接近的,大家可以看作整个分布式数据库是一个大的资源池,这个资源池里负责的是存储跟事务控制,所有的数据是存储在整个的底座里,但它这个底座之上可以通过创建不同类型的数据库实例满足上面多种业务需求。这个是我们认为分布式数据库它的整体的设计思路就是计算、存储、分离,整个计算层在上面的实例层,底下存储层负责数据本身存储和分布式事务。

640?wx_fmt=png
数据库如何应对微服务应用框架

说到分布式数据库本身,我们再看一下分布式数据库的业界都有几种玩法。   
首先,第一种玩法也是我们最经典的玩法,那就是所谓的应用程序的 分库分表,某种程度上我们不能说这是分布式数据库,而是说一种分布式应用的开发策略。 但也带来数据的极大碎片化,数据无法整合。
第二种做法, 原生数据库分布。 不管像巨杉还是高斯还是阿里都是使用类似的架构,其本质就是在数据库原生层面按照分布式策略来进行设计,所有代码是完全自研的。
还有一种是, 垂直分库
就这三种架构,我做了一个简单的对比,这是我自己总结的一些东西,供大家参考一下。

640?wx_fmt=png
分布式数据库技术发展体系对比

说到分布式数据库,大家真正所关心的是什么? 还是交易。 我们现在再说分布式数据库,大家所指的都是分布式的交易型数据库。
我们认为在评价一个新型分布式数据库有 两大维度、六个技术的方向。 两大维度分别是 传统技术兼容性新技术的前瞻性。 我们使用新产品时,对于传统机器兼容性还是十分看重的,不可能抛弃所有应用开发框架,再重新起一套东西。 新技术的前瞻也一样,既然是新的一种技术,自然要和分布式弹性扩展云服务结合起来,所以这块我们又列出了六个特性(六个维度):
第一,ACID的支持。
第二,SQL完整支持。
第三,安全性。
第四,分布式与扩展性。
第五,HTAP。
第六,云与多租户。

640?wx_fmt=png

交易业务需要什么样的分布式数据库

我大概来介绍一下,巨杉数据库的设计过程当中,我们的理念是在什么地方。 我们把整个的数据库分成两层,第一层是数据库的 实例层,整个集群对外体现的是一个一个的不同的数据库实例,比如有MySQL实例、PG实例,还有非结构化的实例;第二层我们叫做 分布式存储层, 所有数据存储,所有事务交易都是在存储层来做的。

说到分布式交易型数据库,大家肯定关心事务。 对于事务来讲我们使用的是二段提交机制,像刚才讲到的,我们过去在IBM  DB2从上世纪90年代就涉足分布式的事务。 我们在二段提交基础上做很多创新和改良,比如当你做提交时会有时间窗,如果时间窗发生故障需要做手动操作,可以做到自动事务恢复并且保证事务完整性。

640?wx_fmt=png

强大的分布式事务能力


我们跟 MySQL的兼容性,对于MySQL来讲,我们是可以保证是在语法层面和MySQL有一个百分之百的兼容。 对于用户在MySQL上开发的应用,基本上可以做到不用改,拿过来直接运行。 我们现在有很多客户应用直接从MySQL或者PG上迁移过来,我们在数据库集群里创建MySQL兼容实例和PG兼容实例就可以满足这一点。

640?wx_fmt=png
MySQL兼容能力

下面,再简单介绍一下我们现在都有哪些场景在使用。 首先,我给大家几个数字,银行是我们主要服务的行业,我们现在在银行生产环境最大的单集群超过 2PB存储量,单集群超过 5440亿条记录存储,整个单一集群 141台物理服务器, 81个应用连接在上面,我们认为作为新型分布式数据库在一个银行级别的生产环境里能够有这种类型的集群,相对比较少见。

640?wx_fmt=png
金融级应用数据领先

我们整个技术方向是来自于IBM  DB2作为最核心的底层工程师,同时我们结合了业界分布式云数据库理念来构建一个分布式数据库。 我们所服务应用场景,主要是集中在四个场景: 核心交易、数据中台、内容管理、实时数据服务 。 我们在银行里主要应用场景也是围绕这四类的。

640?wx_fmt=png
规模应用场景,覆盖全维度金融级数据应用

Gartner是国际比较权威的咨询机构,我们17年 Gartner首 次把中国数据库纳入他们的评估列表里,17年我们首次和阿里云作为中国数据库纳入到他们的列表里。 我们也是 连续三年入选Gartner

640?wx_fmt=png
海内外业界认可

最后我说一下SequoiaDB 3.4新版本。 在这个版本里面,我们在数据库的实例、数据库引擎和大对象引擎的三个领域进行了很大的提升。 欢迎大家下载!

我大概的分享就是这些,谢谢大家!

小编提醒 关于 《2019数据技术嘉年华PPT》正在整理完善中,在“数据和云”公众号后台回复:2019dtc,即可下载!

出处:墨天轮(https://www.modb.pro/doc/topic/11536,复制到网页中打开或者点击“阅读原文”)

DBASK,DBA的即时问答平台

扩展阅读


640?wx_fmt=png

数据和云

ID:OraNews

如有收获,请划至底部,点击“在看”,谢谢!

资源下载

关注公众号:数据和云(OraNews)回复关键字获取

help,30万+下载的完整菜单栏

2019DTCC,数据库大会PPT

2018DTCC , 数据库大会PPT

2018DTC,2018 DTC 大会 PPT

ENMOBK,《Oracle性能优化与诊断案例》

DBALIFE,“DBA 的一天”海报

DBA04,DBA 手记4 电子书

122ARCH,Oracle 12.2体系结构图

2018OOW,Oracle OpenWorld 资料

产品推荐

云和恩墨BethuneX  企业版,集监控、巡检、安全于一身,你的专属数据库实时监控和智能巡检平台,漂亮的不像实力派,你值得拥有!

640?wx_fmt=png

云和恩墨zData一体机现已发布超融合版本和精简版,支持各种简化场景部署,零数据丢失备份一体机ZDBM也已发布,欢迎关注。

640?wx_fmt=jpeg

云和恩墨大讲堂 | 一个分享交流的地方

长按,识别二维码,加入万人交流社群

640?wx_fmt=jpeg

请备注:云和恩墨大讲堂

640
戳这里,阅读原文
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/enmotech/article/details/103154267

智能推荐

物联网-物联网智能数据处理技术_物联网数据处理技术-程序员宅基地

文章浏览阅读1.9w次,点赞6次,收藏39次。物联网数据处理技术的基本概念物联网数据的特点海量 动态 多态 关联从无线传感器网络TinyDB数据库结构中可以清晰地看到物联网数据“海量、动态、多态、关联”的特点物联网中的数据、信息与知识物联网数据处理关键技术数据存储 数据融合 数据挖掘 智能决策物联网与云计算云计算产生的背景云计算的分类IaaS—基础设施即服务,只涉及到租用硬件,是一种..._物联网数据处理技术

win10找不到打印机_Win10系统如何连接和找寻打印机?-程序员宅基地

文章浏览阅读4.8k次。很多朋友改完win10系统就找不到打印机设备,无法设置默认打印机,今天来解析这个问题!01进入设置界面通常,对于已经启动了并连接到了网络的打印机,会很容易被系统识别到,只不过需要确保打印机和电脑是连接的同一个网络。点击开始菜单,进入设置界面。选择设备。02添加打印机和扫描仪选择打印机和扫描仪,点击添加打印机或扫描仪。系统将会自动搜索识别,并将搜索到的设备罗列出来。接着,找到并点击您想要添加的打印机..._w10打印机在哪里找

【存储缓存】bcache原理及实践-程序员宅基地

文章浏览阅读9.1k次,点赞5次,收藏29次。bcache是linux内核块设备层的cache。主要是使用SSD盘在IO速度较慢的HDD盘上面做一层缓存,从而来提高HDD盘的IO速率。一个缓存设备(SSD)可以同时为多个后端设备(HDD)提供缓存。既然是缓存,那自然就会想到缓存策略,bcache支持三种缓存策略....................._bcache

linux amixer原理,amixer和alsamixer使用说明-程序员宅基地

文章浏览阅读658次。amixer和alsamixer使用说明amixer和alsamixer使用说明amixer和alsamixer说明本文主要解答:1. amixer与alsamixer的区别2. amixer与alsamixer的使用alsamixer与amixer的区别alsamixer是Linux音频框架ALSA工具之一,用于配置音频各个参数;alsamixer是基于文本图形界面的,可以在终端中显示.通过键盘..._amixer

web搭建,dns服务器搭建_dns和web服务器搭建-程序员宅基地

文章浏览阅读2.2k次,点赞3次,收藏15次。安装Web服务1、www(万维网服务),主要应用于搭建web站点2、中间件,是用承载我们的Web站点,那么什么是中间件(如,iis、apache、nginx、tomcat、jboss等),Web网站没有中间件是不能运行。3、如何安装windows IIS服务器管理器–角色–添加–web服务器–4、web站点的访问方式有三种(1)通过ip访问,一般是有多个公网地址,可以每一个站点分配一个ip(这种情况用的极少)原因:Ip很难记,公网地址需要收费(2)多端口访问,web站点默认是80端口,80_dns和web服务器搭建

Java时间处理工具类TimeUtils_java 时间工具类-程序员宅基地

文章浏览阅读2.5k次,点赞2次,收藏5次。以上方法笔者觉得没有必要再封装进工具类了,直接调用就行而其他的处理可以参考笔者的时间处理工具类 TimeUtils 的以下方法时间格式转化:转化成时间戳:转化成 LocalDateTimeformat():转化成格式化日期字符串时间获取:获取当前时间戳(精确到毫秒):获取当前的年(仅数值):获取当前的月(仅数值):获取当前的日(仅数值):获取当前的年(格式为 yyyy 的字符串):获取当前的年月(格式为 yyyy-MM 的字符串)_java 时间工具类

随便推点

Andorid源码编译需要掌握的shell语法(三)_android shell脚本语法 :>-程序员宅基地

文章浏览阅读1.2k次。Android 源码编译文件中语法记录_android shell脚本语法 :>

Linux V4L2子系统分析(一)_v4l2_subdev_call-程序员宅基地

文章浏览阅读4.2k次,点赞12次,收藏72次。1.概述Linux系统上的Video设备多种多样,如通过Camera Host控制器接口连接的摄像头,通过USB总线连接的摄像头等。为了兼容更多的硬件,Linux内核抽象了V4L2(Video for Linux Two)子系统。V4L2子系统是Linux内核中关于Video(视频)设备的API接口,是V4L(Video for Linux)子系统的升级版本。V4L2子系统向上为虚拟文件系统提供了统一的接口,应用程序可通过虚拟文件系统访问Video设备。V4L2子系统向下给Video设备提供接口,同时管理_v4l2_subdev_call

服务器基础配置:浪潮服务器配置ILO地址、修改管理员密码、查看虚拟化是否打开:_浪潮服务器修改管理口密码-程序员宅基地

文章浏览阅读1w次。使用场景:因为在公司机房中的服务器我们在使用需要对他做一些类似于初始化的配置,分别是三个,——》第一个是配置服务器的ILO地址,这个是我们通过网络打开一个Web页面对服务器进行一些操作;——》第二个是对管理用户的密码进行修改,这个是因为不同的服务器初始的管理员的密码也许是不一样的,我们将其修改为统一的方便记忆也方便管理;——》第三个就是开启服务器的半虚拟化功能,这个是我们的公司的也许需要服..._浪潮服务器修改管理口密码

php如果字符串有1 3 5,PHP常用字符串函数小结-程序员宅基地

文章浏览阅读87次。PHP常用字符串函数小结来源:程序员人生 发布时间:2015-01-22 09:02:32 阅读次数:1594次1、判断类型的函数is_bool() //判断是不是为布尔型is_float() //判断是不是为浮点型is_real() //同上is_int() //判断是不是为整型is_integer() //同上is_string() ..._php 字符串1-5位

matlab从flove,Matlab玩出新高度,变身表白女友神器_善良995的博客-程序员宅基地-程序员宅基地

文章浏览阅读431次。原文作者:善良995原文标题:Matlab玩出新高度,变身表白女友神器发布时间:2021-03-19 13:36:02Matlab还可以这样玩儿?每逢节日愁哭程序员,不知道该送什么给女朋友,在这里教你用Matlab玩儿出属于程序员的浪漫,送给她一整天的惊喜^^一、效果图先来看看效果图:怎么样,这礼物是不是很用心?是不是很特别?是不是很程序猿?(斜眼笑~)二、完整模板代码当然,我怎么忍心让好男孩们千..._clc clear [x,y,z] = meshgrid(linspace(-3,3,101)); f = -x.^2.*z.^3-(9/80)

字符数组和字符串指针在内存中存储_使用字符串指针定义的变量储存在内存中的-程序员宅基地

文章浏览阅读5.5k次,点赞2次,收藏4次。#include#includechar* strcpy1(){ char *p = "hello kitty"; printf("%s\n", p); return p;}int main(){ printf("%s", strcpy1()); return 0;}字符串在内存中存储在只读数据段,当定义一个字符串指针时,该指针指向这个只读区域,即使在函数中将这个指针返回_使用字符串指针定义的变量储存在内存中的