本文始发于个人公众号：TechFlow，原创不易，求个关注 今天是spark系列的第一篇文章。 最近由于一直work from home节省了很多上下班路上的时间，加上今天的LeetCode的文章篇幅较小，所以抽出了...

11月25日，T11 2019暨TalkingData数据智能峰会在北京中国大饭店举办。会议期间，TalkingData正式发布“城市大数据场景创新平台”，并与武汉市东湖高新区签订“TalkingData华中研发总部、全国交...

本文来自 网易云社区 。 Join操作是数据库和大数据计算中的高级特性，大多数场景都需要进行复杂的Join操作，本文从原理层面介绍了SparkSQL支持的常见Join算法及其适用场景。 Join背景介绍 Join...

 首先大数据涉及两个方面：分布式存储系统和分布式计算框架。前者的理论基础是GFS。后者的理论基础为MapReduce。MapReduce框架有两个步骤（MapReduce 框架其实包含5 个步骤：Map、Sort、Combin...

今天开始我们将一起学习Sameer Farooqui在Spark summit 2015上分享的内容。本文是“深入浅出Spark”系列文章的第一篇，通过本篇文章我们将了解： 1. Spark是什么 2. Spark生态圈 3. Spark的优点...

JVM 调优概述性能定义吞吐量 - 指不考虑 GC 引起的停顿时间或内存消耗，垃圾收集器能支撑应用达到的最高性能指标。延迟 - 其度量标准是缩短由于垃圾啊收集引起的停顿时间或者完全消除因垃圾收集...