去重系列 一、Flink去重第一弹:MapState去重 二、Flink去重第二弹：SQL方式 三、Flink去重第三弹：HyperLogLog去重 四、关于hyperloglog去重优化 五、关于bitmap的使用总结 六、Flink去重第四弹...

一、Flink核心概念 1、Flink核心概念 （1）Flink是什么 ？Apache Flink是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。 可部署在各种集群环境，对各种大小的数据规模...

本文作者为京东算法服务部的张颖和段学浩，并由 Apache Hive PMC，阿里巴巴技术专家李锐帮忙校对。主要内容为： 1.背景 2.Flink SQL 的优化3.总结一、背景 目前，京东搜索推荐的数据处理流程如...

1. Flink大数据实时处理设计方案 整套方案通过Canal + Kafka 连接器 + Protobuf，实现数据的同步接入， 由Flink服务负责对各类业务数据的实时统计处理。 2. 热销商品的统计处理 功能 实现对热销...

原标题：技术干货｜如何利用 ChunJun 实现数据离线同步？ ChunJun 是⼀款稳定、易⽤、⾼效、批流⼀体的数据集成框架，基于计算引擎 Flink 实现多种异构数据源之间的数据同步与计算。ChunJun 可...

原标题：通俗易懂的介绍阿里云、大数据和云计算，内附阿里内部资料 阿里云：数据上云的平台，比如你家有小银子，但是存在家里诸多不便，于是你把它存进银行拿到了一个存款折子，这里的银行就类...