排序
33张图解flink sql应用提交(建议收藏!)
原文链接 前言 大家好,我是土哥。 这已经是我为读者写的第21篇 Flink系列文章了。 上周有粉丝在群里问,在流计算平台编写完Flink sql后,为什么通过一键提交按钮,就可以将sql提交到yarn集群上...
硬核!八张图搞懂 Flink 端到端精准一次处理语义 Exactly-once(深入原理,建议收藏)
Flink 在 Flink 中需要端到端精准一次处理的位置有三个: Source 端:数据从上一阶段进入到 Flink 时,需要保证消息精准一次消费。Flink 内部端:这个我们已经了解,利用 Checkpoint 机制,把状...
解决两大难题,TDengine 助力亿咖通打造自动驾驶技术典范
小 T 导读:在安全解决方案 SuperCloud 中,亿咖通面临着磁盘占用量大、车辆最新状态实时查询难以实现两个核心问题。最终,他们选择了让 TDengine 承担数据中台的重要角色,负责车辆实时数据的...
Flink端到端的一致性
- source端(kafka consumer) 偏移量保存下来,如果后续任务出现了故障,恢复的时候可以由连接器重置偏移量,重新消费数据,保证一致性。 -内部(checkpoint 机制) 基于 Chandy-Lamport 算法的...
大数据培训|Flink各种窗口区别
Window是处理无限流的核心。Flink 认为 Batch 是 Streaming 的一个特例,所以 Flink 底层引擎是一个流式引擎,在上面实现了流处理和批处理。Flink提供了非常完美的窗口机制,这是Flink最大的亮...
百度二面:你了解Flink Source吗?
原标题:百度二面:你了解Flink Source吗? Flink可以从各种来源获取数据,然后构建DataStream进行转换处理。一般将数据的输入来源称为数据源(data source),而读取数据的算子就是源算子(sou...