排序
大厂高频:Flink分区分配策略
原标题:大厂高频:Flink分区分配策略 目前Flink包含8个重分区算子,对应8个分区器(7个官方定义及1个自定义),均继承与父类StreamPartitioner。以下带大家了解Flink的各种分区策略。 1. Rebal...
看不懂你打我,最全面的Flink架构
Flink由四部分组成JobManager,作业管理器TaskManager,任务管理器Resource Manager,资源管理器Dispacher,分发器一、JobManager(作业管理器) 作用:控制一个应用程序执行的主进程,也就是说...
从离线到实时数据生产,网易湖仓一体设计与实践
原标题:从离线到实时数据生产,网易湖仓一体设计与实践 本文根据周劲松老师在【第十三届中国数据库技术大会(DTCC2022)】线上演讲内容整理而成。 随着大数据实时化进程的不断推进,实时与离线...
Flink详解系列(一)–flink架构
近段时间,由于公司项目的相关需求,需要对Flink做详细的梳理,我把学习过程整理成Flink详解系列的10篇左右的总结,供大家参考。 大数据计算引擎的发展 近年来随着大数据的发展,涌现出了一大批...
硬核!八张图搞懂 Flink 端到端精准一次处理语义 Exactly-once(深入原理,建议收藏)
Flink 在 Flink 中需要端到端精准一次处理的位置有三个: Source 端:数据从上一阶段进入到 Flink 时,需要保证消息精准一次消费。Flink 内部端:这个我们已经了解,利用 Checkpoint 机制,把状...
Flink 作业调度详解
Flink作业调度详解(建议收藏)mp.weixin.qq.com/s?__biz=MzU5NjE0NjI1MQ==&mid=2247486627&idx=1&sn=78ad6134bf7a730e09fddc3225f05127&chksm=fe666d87c911e491ed169f0562e8...