说明：这篇文章是我的一位师兄写的，放上来只为了自己学习时参考，谢谢！ 一、性能调优 1、分配资源 a、在我们在生产环境中，提交spark作业时，用的spark-submit shell脚本，里面调整对应的参数...

1.SparkShuffle 1.1SparkShuffle概念： reduceByKey会将上一个RDD中的每一个key对应的所有value聚合成一个value，然后生成一个新的RDD，元素类型是<key,value>对的形式，这样每一个key对...

[TOC] spark SQL语法 与 DSL语法 无论是hadoop、spark、flink其都具备一些共性的功能，都试图不断完善自己的功能。 包括：离线批处理api，离线批处理sql编写能力、DSL语法，实时处理能力 Hadoop...

Hive作为大数据平台举足轻重的框架，以其稳定性和简单易用性也成为当前构建企业级数据仓库时使用最多的框架之一。 但是如果我们只局限于会使用Hive，而不考虑性能问题，就难搭建出一个完美的数...

原标题：代号spark国际服调中文方法，非常简单 有很多喜欢玩游戏的朋友最近应该都听说过代号spark国际服这款游戏，因为这款游戏的地图非常大，可以让玩家在游戏中自由探索。4月23日代号spark国...

JVM 调优概述性能定义吞吐量 - 指不考虑 GC 引起的停顿时间或内存消耗，垃圾收集器能支撑应用达到的最高性能指标。延迟 - 其度量标准是缩短由于垃圾啊收集引起的停顿时间或者完全消除因垃圾收集...