大数据共370篇 第53页
大数据,离线计算,实时计算,流处理引擎,数仓技术
spark SQL语法 与 DSL语法-卡咪卡咪哈-一个博客

spark SQL语法 与 DSL语法

[TOC] spark SQL语法 与 DSL语法 无论是hadoop、spark、flink其都具备一些共性的功能,都试图不断完善自己的功能。 包括:离线批处理api,离线批处理sql编写能力、DSL语法,实时处理能力 Hadoop...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈2年前
0546
Spark流式数据处理——Spark Streaming-卡咪卡咪哈-一个博客

Spark流式数据处理——Spark Streaming

Spark Streaming简介 Spark Streaming是Spark核心API的一个扩展,可以实现实时数据的可拓展,高吞吐量,容错机制的实时流处理框架。 Spark Streaming 支持的数据输入源很多,例如:Kafka、 Flum...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈2年前
0486
大数据框架Hadoop PK Spark,赢家是?-卡咪卡咪哈-一个博客

大数据框架Hadoop PK Spark,赢家是?

全文共2601字,预计学习时长5分钟 打开凤凰新闻,查看更多高清图片 图片来源:unsplash.com/@gferla 当下,数字宇宙正以飞快的速度追赶着物理宇宙,每两年,全球数据量就会翻一番。据估计,到20...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈2年前
0466
SparkShuffle及Spark SQL图解执行流程语法-卡咪卡咪哈-一个博客

SparkShuffle及Spark SQL图解执行流程语法

1.SparkShuffle 1.1SparkShuffle概念: reduceByKey会将上一个RDD中的每一个key对应的所有value聚合成一个value,然后生成一个新的RDD,元素类型是<key,value>对的形式,这样每一个key对...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈2年前
0496
开源工作流管理工具-卡咪卡咪哈-一个博客

开源工作流管理工具

安全分析工作流定制 工作流(Workflow)是对工作流程及其各操作步骤之间业务规则的抽象、概括描述。工作流系统是以规格化的流程描述作为输入的软件组件,它维护流程的运行状态,并在人和应用之...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈2年前
0466
区块链基础语言(十)——Go语言选择语句-卡咪卡咪哈-一个博客

区块链基础语言(十)——Go语言选择语句

链块学院官网-清华、牛津、中科院、香港城市大学师资的区块链技术培训-14天掌握区块链技术​www.liankuai.tech/#/infoDetails/48 Go语言程序流程结构有三种:顺序结构,选择结构和循环结构。顺...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈2年前
0466