Flink的Transformation转换主要包括四种：单数据流基本转换、基于Key的分组转换、多数据流转换和数据重分布转换。读者可以使用Flink Scala Shell或者Intellij Idea来进行练习：Flink Scala Shel...

写这篇文章，记录我2019年时做Flink的编程练习，记录一些关键思想套路，为以后举一反三，触类旁通之用。以下需求都非常基础和简单，关键在思路，不在意代码细节。 项目场景 普通的互联网电商平...

去重系列 一、Flink去重第一弹:MapState去重 二、Flink去重第二弹：SQL方式 三、Flink去重第三弹：HyperLogLog去重 四、关于hyperloglog去重优化 五、关于bitmap的使用总结 六、Flink去重第四弹...

一、Flink核心概念 1、Flink核心概念 （1）Flink是什么 ？Apache Flink是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。 可部署在各种集群环境，对各种大小的数据规模...

本文作者为京东算法服务部的张颖和段学浩，并由 Apache Hive PMC，阿里巴巴技术专家李锐帮忙校对。主要内容为： 1.背景 2.Flink SQL 的优化3.总结一、背景 目前，京东搜索推荐的数据处理流程如...

1. Flink大数据实时处理设计方案 整套方案通过Canal + Kafka 连接器 + Protobuf，实现数据的同步接入， 由Flink服务负责对各类业务数据的实时统计处理。 2. 热销商品的统计处理 功能 实现对热销...