Article / 文章中心

如何使用实时计算提交和管理 Flink 任务

发布时间:2022-02-10 点击数:268

如何运用实时核算提交和办理 Flink 使命

目录
1.VVP 基本概念

2.JAR 使命提交

3.SQL 使命提交

4.Metrics & Log

一、VVP 基本概念

基本概念-

Deployment

·作业描绘

·使命类型(IAR 和 SQL)

· flink 版本和装备(flink configuration)

·CPU 和内存 Uobmanager/askmanager)

·恢复战略 (Restore Strategy)

·期望状况(Desired)和实际状况(Current)

· RUNNING, CANCELED, SUSPENDED

· TRANSTIONING, FINISHED, FAILED

基本概念-Draft

·使命的开发态

·新建 Draft->上线(转 Deployment)->运维(其他操作)

基本概念-Job

·源自 Deployment(Deployment 的一个作业实例)

·对应一个具体的 EIink Job


二、JAR 使命提交

Jar 打包上传

·社区 top window 代码本地打包

https:/github com/apachefink/tree/master/flink-examples/link-examples-streaming

·htps://repol.maven org/mavenZ/org/apache/flink

/flink-examples-streaming2111.12.2/ink-examples-streaming 211-1122-TopSpeedWindowingiar

·artifacts 上传,删去,掩盖

上线 Draft

·点击"上线"

Deployment 基本操作

·作业的启停

·Deployment 详情页概览

Deployment 装备

·模版形式(根底、高级)、YAML 形式修改

Deployment  其他操作

·基本操作

· sart, cancdl. wvpend, wepont, fox、dee

·晋级与恢复

·restore(svepoint hedpoint, none)

·作业换照的运用,从前史 yavepcim 恢复(从 sp fok)

·运堆

·详情页 Metic

·Flnk UI

基本概念-Session Cluster

·资源同享,复用 JobManager,节约小作业资源消耗

·使命发动速度快,适用于作业运转时间较短的场景

品 Session 集群

提交使命到 Session 集群

·系统办理->Session 集群

·Deployment 的部署方针挑选 Session 集群

3. SQL 使命提交

基本概念-SQL 分类

·DDL

·数据界说语言(create table/view/index/syn/cluster)

.DQL

· 数据查询语言(select* from xx where xx)

·DML

·数据操纵语言(insert/update/delete)

·DCL

·数据控制语言(grant/rollack/commit)

基本概念-Catalog

·办理元数据

·表 Catalog.DB.Table

·函数∶UDFUDTFUDAF

语法说明-注册函数

● 上传 UDF JAR包

●可下载 http//fa2020.osS-cn-bejingaliyuncscom/ud10jar 到本地再上传

●CREATE FUNCTION`MyScalarfunc AS'com.test.MyScalarFunc'

语法说明-运用函数

内置函数

INSERT INTO blackhole_sink

SELECT UPPER(name), score FROM datagen_source

自界说函数

INSERT INTO blackhole_sink

SELECT MyScalarfunc(name), score FROM datagen_source

语法说明-Temporary Table

语法说明- Temporary View

语法说明- Statement Set

应用范围

· Create Table

·会注册到系统 Catalog(默许是 VvpCatalog)中,进行耐久化

·合适多个 query 同享元数据的情况

· Create Temporary Table · 会运用内存的  Catalog,不会耐久化

· 合适不需求同享元数据的场景只给当前 query 运用。例如测验使命。

· Create Temporary View

·简化 SQL 句子

· Statement Set

· 合适需求输出到多个下游(多sink表)的场景

自界说Connector & Format

·实现接口

·DynamicTableSourceFactory

·DynamicTableSinkFactory

·接口描绘文件∶ META-INF/services/org.apache.fink.table,factories.Factory

·上传 JAR 包进行注册

·可下载 htp//n2020oscn-bellinglvunccom/mydatken-printe10Jar 到本地再上传

运用自界说 Connector

SQL Preview

· 装备某个 Session 集群作为 SQL Preview 运用的集群· 该 session 集群需求是运转状况

· 直接运转 DQL 句子

·SELECT UPPER(name), score FROM datagen_source;

Metrics- reporter

·默许运用PrometheusReporter

·自界说metrics reporter

·修改 Deployment -> 高级装备->其他装备

Metrics- grafana

LOG

·自界说 Log Level

· root INFO

· org.apache.fink: DEBUG

·自界说 Logging Profile ,

· oss

· sls