Flink基础篇｜001_Flink是什么-程序员宅基地

技术标签： flink Apache Flink 技术应用 # 技术｜开发工具大数据

在这里插入图片描述

作者简介：「六月暴雪飞梨花」，专注于研究Java，就职于科技型公司后端工程师
近期荣誉：华为云云享专家、阿里云专家博主、腾讯云优秀创作者
三连支持：欢迎 ️关注、点赞、收藏三连，支持一下博主~

文章目录

前言
关于Flink
Flink中的事件流
Flink拥有的能力
总结

前言

我们通常说的Flink是来Apache Flink，他是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行。现在越来越多的企业公司和个人都在使用Flink，来使用他的特性解决一些实时问题。

关于Flink

官方地址：https://flink.apache.org/
在这里插入图片描述

在官网上开头有一段话就讲到Apache Flink，翻译过来就是：Apache Flink是一个框架和分布式处理引擎，用于在无界和有界数据流上进行有状态计算。Flink旨在在所有常见的集群环境中运行，以内存速度和任何规模执行计算。从上面的介绍中，我们可以提取到Apache Flink是一个流式计算框架，也是流处理引擎。
● 流式计算框架：作为流式计算框架，用于处理无限量的数据，并在真正的实时上下文中运行。
● 流处理引擎：Flink是一个分布式的、高性能的、可伸缩的、容错的流处理引擎，它支持批处理和流处理，并提供了丰富的API和库，是实时数据处理的理想选择。

Flink中的事件流

在Flink中，任何类型的数据都可以形成一种事件流，数据可以被作为无界或者有界流来处理。
● 无界流
有定义流的开始，但没有定义流的结束。它们会无休止地产生数据。无界流的数据必须持续处理，即数据被摄取后需要立刻处理。我们不能等到所有数据都到达再处理，因为输入是无限的，在任何时候输入都不会完成。处理无界数据通常要求以特定顺序摄取事件，例如事件发生的顺序，以便能够推断结果的完整性。例如监听数据，消费数据（信用卡消费时给出消费判断和消费告警）。
● 有界流
有定义流的开始，也有定义流的结束。有界流可以在摄取所有数据后再进行计算。有界流所有数据可以被排序，所以并不需要有序摄取。有界流处理通常被称为批处理。例如在读取文件数据，文件在被读取时是已经确定大小，确定了数据。
在这里插入图片描述

Flink作为一个引擎可以存储有状态的数据流。一般情况下，我们在其他框架中，都是计算一个结果后存储在数据库，例如存储在redis、mysql，然后再读取出来做一些其他业务逻辑计算。而在Flink中有状态的数据流是指在进行数据处理时，数据流中包含的状态信息可以被存储和访问，以便在处理过程中进行状态的计算和更新。与无状态的数据流相比，有状态的数据流需要更多的存储和计算资源，因为需要维护状态的一致性和容错性。

Flink拥有的能力

Flink可以在一个单独的机器上运行，也可以在一个集群上运行，并具有高效的数据处理能力，特别是对于大规模数据集。从官网来看，Flink有以下5种能力：
● 正确性保证：Flink提供了精确一次的状态一致性保障，这使得它能够保证数据的准确性和可靠性。Flink还支持实践时间驱动处理和延迟时间处理。
● 分层API：Flink提供了多种编程模型和API，包括DataStream API、DataSet API、Table API、BatchData API、ProcessFunction（时间和状态）和SQL API等，以及一系列的算子库，用于执行常见的流处理任务。
● 聚焦运维：灵活部署，支持单节点和集群部署；支持高可用；支持savekpoint。
● 支撑大规模计算：支持水平扩展，增量checkpoint，从官网可以看到：处理每天处理数万亿的事件，应用维护几TB大小的状态和应用在数千个内核上运行。
● 低延迟和高吞吐：Flink卓越的性能是在内存计算，有状态的 Flink 程序针对本地状态访问进行了优化。任务的状态始终保留在内存中，如果状态大小超过可用内存，则会保存在能高效访问的磁盘数据结构中。任务通过访问本地（通常在内存中）状态来进行所有的计算，从而产生非常低的处理延迟。
另外，Flink支持多种资源管理框架，Flink可以在包括YARN、Mesos、Kubernetes在内的多种资源管理框架上运行，并支持在裸机集群上独立部署。

总结

本文通过Flink官网来了解Flink是什么，Flink是一个事件驱动框架引擎，得力于Flink的能力，我们可以解决工作中的很多事情，Flink主要应用场景包括实时数据计算、实时数据仓库和ETL、事件驱动型场景（如告警、监控）等。

欢迎关注博主「六月暴雪飞梨花」或加入【六月暴雪飞梨花社区】一起学习和分享Linux、C、C++、Python、Matlab，机器人运动控制、多机器人协作，智能优化算法，滤波估计、多传感器信息融合，机器学习，人工智能等相关领域的知识和技术。

本文链接：https://blog.csdn.net/L_Lycos/article/details/136093135

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

5个超厉害的资源搜索网站，每一款都可以让你的资源满满！_最全资源搜索引擎-程序员宅基地

文章浏览阅读1.6w次，点赞8次，收藏41次。生活中我们无时不刻不都要在网站搜索资源，但就是缺少一个趁手的资源搜索网站，如果有一个比较好的资源搜索网站可以帮助我们节省一大半时间！今天小编在这里为大家分享5款超厉害的资源搜索网站，每一款都可以让你的资源丰富精彩！网盘传奇一款最有效的网盘资源搜索网站你还在为找网站里面的资源而烦恼找不到什么合适的工具而烦恼吗？这款网站传奇网站汇聚了4853w个资源，并且它每一天都会持续更新资源；..._最全资源搜索引擎

Book类的设计(Java)_6-1 book类的设计java-程序员宅基地

文章浏览阅读4.5k次，点赞5次，收藏18次。阅读测试程序，设计一个Book类。函数接口定义：class Book{}该类有四个私有属性分别是书籍名称、价格、作者、出版年份，以及相应的set 与get方法；该类有一个含有四个参数的构造方法，这四个参数依次是书籍名称、价格、作者、出版年份。裁判测试程序样例：import java.util.*;public class Main { public static void main(String[] args) { List <Book>_6-1 book类的设计java

基于微信小程序的校园导航小程序设计与实现_校园导航微信小程序系统的设计与实现-程序员宅基地

文章浏览阅读613次，点赞28次，收藏27次。相比于以前的传统手工管理方式，智能化的管理方式可以大幅降低学校的运营人员成本，实现了校园导航的标准化、制度化、程序化的管理，有效地防止了校园导航的随意管理，提高了信息的处理速度和精确度，能够及时、准确地查询和修正建筑速看等信息。课题主要采用微信小程序、SpringBoot架构技术，前端以小程序页面呈现给学生，结合后台java语言使页面更加完善，后台使用MySQL数据库进行数据存储。微信小程序主要包括学生信息、校园简介、建筑速看、系统信息等功能，从而实现智能化的管理方式，提高工作效率。

有状态和无状态登录

传统上用户登陆状态会以 Session 的形式保存在服务器上，而 Session ID 则保存在前端的 Cookie 中；而使用 JWT 以后，用户的认证信息将会以 Token 的形式保存在前端，服务器不需要保存任何的用户状态，这也就是为什么 JWT 被称为无状态登陆的原因，无状态登陆最大的优势就是完美支持分布式部署，可以使用一个 Token 发送给不同的服务器，而所有的服务器都会返回同样的结果。有状态和无状态最大的区别就是服务端会不会保存客户端的信息。

九大角度全方位对比Android、iOS开发_ios 开发角度-程序员宅基地

文章浏览阅读784次。发表于10小时前| 2674次阅读| 来源TechCrunch| 19 条评论| 作者Jon EvansiOSAndroid应用开发产品编程语言JavaObjective-C摘要：即便Android市场份额已经超过80%，对于开发者来说，使用哪一个平台做开发仍然很难选择。本文从开发环境、配置、UX设计、语言、API、网络、分享、碎片化、发布等九个方面把Android和iOS_ios 开发角度

搜索引擎的发展历史

搜索引擎的发展历史可以追溯到20世纪90年代初，随着互联网的快速发展和信息量的急剧增加，人们开始感受到了获取和管理信息的挑战。这些阶段展示了搜索引擎在技术和商业模式上的不断演进，以满足用户对信息获取的不断增长的需求。

随便推点

控制对象的特性_控制对象特性-程序员宅基地

文章浏览阅读990次。对象特性是指控制对象的输出参数和输入参数之间的相互作用规律。放大系数K描述控制对象特性的静态特性参数。它的意义是：输出量的变化量和输入量的变化量之比。时间常数T当输入量发生变化后，所引起输出量变化的快慢。（动态参数） ..._控制对象特性

FRP搭建内网穿透(亲测有效)_locyanfrp-程序员宅基地

文章浏览阅读5.7w次，点赞50次，收藏276次。FRP搭建内网穿透1.概述：frp可以通过有公网IP的的服务器将内网的主机暴露给互联网，从而实现通过外网能直接访问到内网主机；frp有服务端和客户端，服务端需要装在有公网ip的服务器上，客户端装在内网主机上。2.简单的图解：3.准备工作：1.一个域名（www.test.xyz）2.一台有公网IP的服务器(阿里云、腾讯云等都行)3.一台内网主机4.下载frp，选择适合的版本下载解压如下：我这里服务器端和客户端都放在了/usr/local/frp/目录下4.执行命令# 服务器端给执_locyanfrp