HBase作为Google发表BigTable论文的开源实现版本,是一种分布式列式存储的数据库,构建在HDFS之上的NoSQL数据库,非常适合大规模实时查询,因此HBase在实时计算领域使用非常广泛。可以实时写HBase,也可以利用buckload一把把离线Job生成HFileLoad到HBase表中。而当下FlinkSQL的火热程度不用多说,FlinkSQL也为HBase提供了connector,因此HBase与FlinkSQL的结合非常有必要实践实践。当然,本文假设用户有一定的HBase知识基础,不会详细去介绍HBase的架构和原理,本文着重介绍HBase和Flink在实际场景中的结合使用
2021-12-13 10:38:32 1.05MB FlinkSQL实战:HBase的结合应用
1
Flink 2019峰会 阿里大牛的技术, 在线教程有github:**,第6个文档 简明扼要的讲解Flink的SQL api及 源码分析和运行原理。值得收藏
2021-10-31 20:23:38 11.3MB Flink
1
flinkSQL clickhouse连接器
2021-10-20 22:07:43 6.34MB flink clickhouse flinksql
1
flink1.12.1 sql演示 个人练习flink的演示。 代码里自带数据生成,附带合适的数据演示。 pom.xml包含了flink绝大部分的依赖,maven下载会比较久。 目前项目内容包含了 环境 Windows 10 ltsc 的Mysql8.0.23 Idea社区版2020.3 海地SQL 环境建设教程: ://www.cnblogs.com/abramgyb/p/14587901.html 流集 使用streamset api编写flink程序 FlinkSQL flink sql api编程程序,实现ETL功能,包含读写Mysql,kafka 源Mysql MysqlCDC 下沉Mysql 使用说明 克隆仓库:git clone 使用idea打开项目 maven下载相关依赖 依赖下载完成后运行demo测试
2021-10-12 20:45:24 79KB flink flinksql flinkcdc mysqlcdc
1
编译好了,安全可用
2021-09-20 22:08:14 66KB flink flinksql flinksqlredis
1
MicroBatch和MiniBatch都是微批处理,只是微批的触发机制略有不同。原理同样是缓存一定的数据后再触发处理,以减少对State的访问,从而提升吞吐并减少数据的输出量。MiniBatch主要依靠在每个Task上注册的Timer线程来触发微批,需要消耗一定的线程调度性能。MicroBatch是MiniBatch的升级版,主要基于事件消息来触发微批,事件消息会按您指定的时间间隔在源头插入。MicroBatch在元素序列化效率、反压表现、吞吐和延迟性能上都要优于MiniBatch。微批处理通过增加延迟换取高吞吐,如果您有超低延迟的要求,不建议开启微批处理。通常对于聚合的场景,微批处理可以显
2021-09-15 09:49:33 780KB 高性能FlinkSQL优化技巧
1
kaggle Home_credit 信贷风控 train训练字段的Flink sql 预处理
2021-06-15 13:07:28 12KB Flinksql
FlinkSQL在音乐的产品化实践-TSY,云计算大佬的干货分享。 Flink SQL 是 Flink 实时计算为简化计算模型,降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的开发语言。
2021-03-05 12:03:13 4.14MB FlinkSQL
1
第一章 整体介绍 2 1.1 什么是 Table API 和 Flink SQL 2 1.2 需要引入的依赖 2 1.3 两种 planner(old & blink)的区别 4 第二章 API 调用 5 2.1 基本程序结构 5 2.2 创建表环境 5 2.3 在 Catalog 中注册表 7 2.3.1 表(Table)的概念 7 2.3.2 连接到文件系统(Csv 格式) 7 2.3.3 连接到 Kafka 8 2.4 表的查询 9 2.4.1 Table API 的调用 9 2.4.2 SQL 查询 10 2.5 将 DataStream 转换成表 11 2.5.1 代码表达 11 2.5.2 数据类型与 Table schema 的对应 12 2.6. 创建临时视图(Temporary View) 12 2.7. 输出表 14 2.7.1 输出到文件 14 2.7.2 更新模式(Update Mode) 15 2.7.3 输出到 Kafka 16 2.7.4 输出到 ElasticSearch 16 2.7.5 输出到 MySql 17 2.8 将表转换成 DataStream 18 2.9 Query 的解释和执行 20 1. 优化查询计划 20 2. 解释成 DataStream 或者 DataSet 程序 20 第三章 流处理中的特殊概念 20 3.1 流处理和关系代数(表,及 SQL)的区别 21 3.2 动态表(Dynamic Tables) 21 3.3 流式持续查询的过程 21 3.3.1 将流转换成表(Table) 22 3.3.2 持续查询(Continuous Query) 23 3.3.3 将动态表转换成流 23 3.4 时间特性 25 3.4.1 处理时间(Processing Time) 25 3.4.2 事件时间(Event Time) 27 第四章 窗口(Windows) 30 4.1 分组窗口(Group Windows) 30 4.1.1 滚动窗口 31 4.1.2 滑动窗口 32 4.1.3 会话窗口 32 4.2 Over Windows 33 1) 无界的 over window 33 2) 有界的 over window 34 4.3 SQL 中窗口的定义 34 4.3.1 Group Windows 34 4.3.2 Over Windows 35 4.4 代码练习(以分组滚动窗口为例) 36 第五章 函数(Functions) 38 5.1 系统内置函数 38 5.2 UDF 40 5.2.1 注册用户自定义函数 UDF 40 5.2.2 标量函数(Scalar Functions) 40 5.2.3 表函数(Table Functions) 42 5.2.4 聚合函数(Aggregate Functions) 45 5.2.5 表聚合函数(Table Aggregate Functions) 47
2021-01-28 04:27:30 1.29MB flinksql
1