大家都在看
最新发布第8页
深入浅出Spark(1)什么是Spark-卡咪卡咪哈-一个博客

深入浅出Spark(1)什么是Spark

今天开始我们将一起学习Sameer Farooqui在Spark summit 2015上分享的内容。本文是“深入浅出Spark”系列文章的第一篇,通过本篇文章我们将了解: 1. Spark是什么 2. Spark生态圈 3. Spark的优点...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
06312
与 Hadoop 对比,如何看待 Spark 技术?-卡咪卡咪哈-一个博客

与 Hadoop 对比,如何看待 Spark 技术?

Hadoop 首先看一下Hadoop解决了什么问题,Hadoop就是解决了大数据(大到一台计算机无法进行存储,一台计算机无法在要求的时间内进行处理)的可靠存储和处理。HDFS,在由普通PC组成的集群上提供...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
010013
MapReduce和Spark的区别是什么?-卡咪卡咪哈-一个博客

MapReduce和Spark的区别是什么?

 首先大数据涉及两个方面:分布式存储系统和分布式计算框架。前者的理论基础是GFS。后者的理论基础为MapReduce。MapReduce框架有两个步骤(MapReduce 框架其实包含5 个步骤:Map、Sort、Combin...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
06311
Spark特点及缺点?-卡咪卡咪哈-一个博客

Spark特点及缺点?

本文目录: 一、调优概述 二、数据倾斜发生时的现象 三、数据倾斜发生的原理 四、如何定位导致数据倾斜的代码 五、某个task执行特别慢的情况 六、某个task莫名其妙内存溢出的情况 七、查看导致...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
0588
Spark是什么?Spark和Hadoop的区别-卡咪卡咪哈-一个博客

Spark是什么?Spark和Hadoop的区别

Spark 是加州大学伯克利分校 AMP(Algorithms,Machines,People)实验室开发的通用内存并行计算框架。 Spark 在 2013 年 6 月进入 Apache 成为孵化项目,8 个月后成为 Apache 顶级项目。Spark ...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
0725
如何设置具有HDFS高可用性的Hadoop集群-卡咪卡咪哈-一个博客

如何设置具有HDFS高可用性的Hadoop集群

HDFS 2.x 高可用性集群架构 在这篇博客中,我将讨论 HDFS 2.x 高可用性集群架构以及设置 HDFS 高可用性集群的过程。这是大数据课程的重要组成部分。 本博客中涵盖主题的顺序如下: HDFS HA 架...
热门分类
VR看房