spark共14篇 第2页
Spark:安装及环境配置指南!-卡咪卡咪哈-一个博客

Spark:安装及环境配置指南!

前篇文章介绍了scala的安装与配置、接下来介绍一下spark的安装及环境配置。1、Apache spark下载在浏览器输入网址https://spark.apache.org/downloads.html进入spark的下载页面,如下图所示:下...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
09014
SPARK+HADOOP大数据实验环境配置-卡咪卡咪哈-一个博客

SPARK+HADOOP大数据实验环境配置

最近在上大数据实验的,整理一下配置环境的过程。本文主要包括所需安装包,通用配置、hadoop配置和spark配置。一.实验环境:使用虚拟机软件:VMware Workstation Pro操作系统:Ubuntu 18.04 (mas...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
01235
spark为什么这么快-卡咪卡咪哈-一个博客

spark为什么这么快

作者:张科 网上答案都是千篇一律:数据都在内存所以快,是有误区的。 聊spark必须聊rdd, rdd 全英文 Resilient Distributed Datasets,搞懂这三个单词就完事了其实。 Resilient:能复原的,弹...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
015212
与 Hadoop 对比,如何看待 Spark 技术?-卡咪卡咪哈-一个博客

与 Hadoop 对比,如何看待 Spark 技术?

Hadoop 首先看一下Hadoop解决了什么问题,Hadoop就是解决了大数据(大到一台计算机无法进行存储,一台计算机无法在要求的时间内进行处理)的可靠存储和处理。HDFS,在由普通PC组成的集群上提供...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
010013
深入浅出Spark(1)什么是Spark-卡咪卡咪哈-一个博客

深入浅出Spark(1)什么是Spark

今天开始我们将一起学习Sameer Farooqui在Spark summit 2015上分享的内容。本文是“深入浅出Spark”系列文章的第一篇,通过本篇文章我们将了解: 1. Spark是什么 2. Spark生态圈 3. Spark的优点...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
06312
Spark特点及缺点?-卡咪卡咪哈-一个博客

Spark特点及缺点?

本文目录: 一、调优概述 二、数据倾斜发生时的现象 三、数据倾斜发生的原理 四、如何定位导致数据倾斜的代码 五、某个task执行特别慢的情况 六、某个task莫名其妙内存溢出的情况 七、查看导致...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
0588