大数据共370篇 第4页
大数据,离线计算,实时计算,流处理引擎,数仓技术
SparkShuffle及Spark SQL图解执行流程语法-卡咪卡咪哈-一个博客

SparkShuffle及Spark SQL图解执行流程语法

1.SparkShuffle 1.1SparkShuffle概念: reduceByKey会将上一个RDD中的每一个key对应的所有value聚合成一个value,然后生成一个新的RDD,元素类型是<key,value>对的形式,这样每一个key对...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
0496
spark SQL语法 与 DSL语法-卡咪卡咪哈-一个博客

spark SQL语法 与 DSL语法

[TOC] spark SQL语法 与 DSL语法 无论是hadoop、spark、flink其都具备一些共性的功能,都试图不断完善自己的功能。 包括:离线批处理api,离线批处理sql编写能力、DSL语法,实时处理能力 Hadoop...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
0546
大数据培训如何优化HiveSQL-卡咪卡咪哈-一个博客

大数据培训如何优化HiveSQL

Hive作为大数据平台举足轻重的框架,以其稳定性和简单易用性也成为当前构建企业级数据仓库时使用最多的框架之一。 但是如果我们只局限于会使用Hive,而不考虑性能问题,就难搭建出一个完美的数...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
04911
代号spark国际服调中文方法,非常简单-卡咪卡咪哈-一个博客

代号spark国际服调中文方法,非常简单

原标题:代号spark国际服调中文方法,非常简单 有很多喜欢玩游戏的朋友最近应该都听说过代号spark国际服这款游戏,因为这款游戏的地图非常大,可以让玩家在游戏中自由探索。4月23日代号spark国...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
07915
阿里面试100%问到,JVM性能调优篇-卡咪卡咪哈-一个博客

阿里面试100%问到,JVM性能调优篇

JVM 调优概述性能定义吞吐量 - 指不考虑 GC 引起的停顿时间或内存消耗,垃圾收集器能支撑应用达到的最高性能指标。延迟 - 其度量标准是缩短由于垃圾啊收集引起的停顿时间或者完全消除因垃圾收集...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
06213
Linux性能调优,看这篇就懂-卡咪卡咪哈-一个博客

Linux性能调优,看这篇就懂

做Linux性能调优,对很多人来说都蛮难的。今天小编就给大家讲讲Linux性能调优的那些事,希望能对你有帮助。 一、Linux的CPU调度 任何计算机的基本功能都十分简单,那就是计算。为了实现计算的功...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
0578