~~~~~~~~~~~~~~~~~~~~~~~~~更新~~~~~~~~~~~~~~~~~~~~~~~~~~~本专题教程最终会以搭建4台机器（节点）的集群为教学目的，但会经历单机版（只有一台机器）、伪分布式（还是只有一台机器）、完全分...

前言寒假花了很多时间在基于Giraph的PageRank这个实验上面，最终实现的效果是在服务器上的分布式环境中使用Giraph这个框架运行PageRank算法。这个系列的文章主要是把在配置Hadoop的过程中所有踩...

大数据平台是对海量结构化、非结构化、半机构化数据进行采集、存储、计算、统计、分析处理的一系列技术平台。大数据平台处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据仓库工具无...

由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载...

安装 Hadoop：设置单节点 Hadoop 集群 你一定对Hadoop，HDFS及其架构有一个理论概念。 但是要获得Hadoop认证，您需要良好的实践知识。我希望你会喜欢我们之前关于HDFS架构的博客，现在我将...

部署预备Hadoop安装spark运行一般依赖Hadoop(也可以不需要)。关于Hadoop的安装，可以参考 使用虚拟机搭建Hadoop集群在安装Hadoop的过程中，需要同时安装jdk8。2. Scala安装解压Scala二进制包到...