flink共63篇 第8页
大厂高频:Flink分区分配策略-卡咪卡咪哈-一个博客

大厂高频:Flink分区分配策略

原标题:大厂高频:Flink分区分配策略 目前Flink包含8个重分区算子,对应8个分区器(7个官方定义及1个自定义),均继承与父类StreamPartitioner。以下带大家了解Flink的各种分区策略。 1. Rebal...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
0548
看不懂你打我,最全面的Flink架构-卡咪卡咪哈-一个博客

看不懂你打我,最全面的Flink架构

Flink由四部分组成JobManager,作业管理器TaskManager,任务管理器Resource Manager,资源管理器Dispacher,分发器一、JobManager(作业管理器) 作用:控制一个应用程序执行的主进程,也就是说...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
01248
从离线到实时数据生产,网易湖仓一体设计与实践-卡咪卡咪哈-一个博客

从离线到实时数据生产,网易湖仓一体设计与实践

原标题:从离线到实时数据生产,网易湖仓一体设计与实践 本文根据周劲松老师在【第十三届中国数据库技术大会(DTCC2022)】线上演讲内容整理而成。 随着大数据实时化进程的不断推进,实时与离线...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
0528
Flink详解系列(一)--flink架构-卡咪卡咪哈-一个博客

Flink详解系列(一)–flink架构

近段时间,由于公司项目的相关需求,需要对Flink做详细的梳理,我把学习过程整理成Flink详解系列的10篇左右的总结,供大家参考。 大数据计算引擎的发展 近年来随着大数据的发展,涌现出了一大批...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
0538
硬核!八张图搞懂 Flink 端到端精准一次处理语义 Exactly-once(深入原理,建议收藏)-卡咪卡咪哈-一个博客

硬核!八张图搞懂 Flink 端到端精准一次处理语义 Exactly-once(深入原理,建议收藏)

Flink 在 Flink 中需要端到端精准一次处理的位置有三个: Source 端:数据从上一阶段进入到 Flink 时,需要保证消息精准一次消费。Flink 内部端:这个我们已经了解,利用 Checkpoint 机制,把状...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
0587
Flink 作业调度详解-卡咪卡咪哈-一个博客

Flink 作业调度详解

Flink作业调度详解(建议收藏)​mp.weixin.qq.com/s?__biz=MzU5NjE0NjI1MQ==&mid=2247486627&idx=1&sn=78ad6134bf7a730e09fddc3225f05127&chksm=fe666d87c911e491ed169f0562e8...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
0917