安装 Hadoop：设置单节点 Hadoop 集群 你一定对Hadoop，HDFS及其架构有一个理论概念。 但是要获得Hadoop认证，您需要良好的实践知识。我希望你会喜欢我们之前关于HDFS架构的博客，现在我将...

Hadoop 2.x 中的多节点群集 从我们之前的Hadoop教程系列博客中，我们学习了如何设置 Hadoop单节点集群。现在，我将展示如何设置Hadoop多节点集群。Hadoop 中的多节点集群在分布式 Hadoop ...

HDFS 2.x 高可用性集群架构 在这篇博客中，我将讨论 HDFS 2.x 高可用性集群架构以及设置 HDFS 高可用性集群的过程。这是大数据课程的重要组成部分。 本博客中涵盖主题的顺序如下： HDFS HA 架...

Spark 是加州大学伯克利分校 AMP（Algorithms，Machines，People）实验室开发的通用内存并行计算框架。 Spark 在 2013 年 6 月进入 Apache 成为孵化项目，8 个月后成为 Apache 顶级项目。Spark ...

本文目录： 一、调优概述 二、数据倾斜发生时的现象 三、数据倾斜发生的原理 四、如何定位导致数据倾斜的代码 五、某个task执行特别慢的情况 六、某个task莫名其妙内存溢出的情况 七、查看导致...

 首先大数据涉及两个方面：分布式存储系统和分布式计算框架。前者的理论基础是GFS。后者的理论基础为MapReduce。MapReduce框架有两个步骤（MapReduce 框架其实包含5 个步骤：Map、Sort、Combin...