这年代，做数据的，没人不知道 Spark 是什么吧。作为最火的大数据计算引擎，现在基本上是各互联网大厂的标配了。 比如，字节跳动基于 Spark 构建的数据仓库，服务了几乎所有的产品线，包括抖音...

此案例参考书籍《Spark大数据商业实战三部曲》，特做学习笔记，巩固学习过程。案例预览：给每位员工的年龄增加100给特定的员工年龄增加70，其他增加30对人员信息中的重复数据进行去重按年龄进行...

本文目录： 一、调优概述 二、数据倾斜发生时的现象 三、数据倾斜发生的原理 四、如何定位导致数据倾斜的代码 五、某个task执行特别慢的情况 六、某个task莫名其妙内存溢出的情况 七、查看导致...

说明：这篇文章是我的一位师兄写的，放上来只为了自己学习时参考，谢谢！ 一、性能调优 1、分配资源 a、在我们在生产环境中，提交spark作业时，用的spark-submit shell脚本，里面调整对应的参数...

做Linux性能调优，对很多人来说都蛮难的。今天小编就给大家讲讲Linux性能调优的那些事，希望能对你有帮助。 一、Linux的CPU调度 任何计算机的基本功能都十分简单，那就是计算。为了实现计算的功...

集群相关 Cluster Manager指的是在集群上获取资源的外部服务，为每个spark application在集群中调度和分配资源的组件，目前有三种类型： Standalone：Spark 原生的资源管理，由 Master 负责资源...