安装 Hadoop：设置单节点 Hadoop 集群 你一定对Hadoop，HDFS及其架构有一个理论概念。 但是要获得Hadoop认证，您需要良好的实践知识。我希望你会喜欢我们之前关于HDFS架构的博客，现在我将...

最近在上大数据实验的，整理一下配置环境的过程。本文主要包括所需安装包，通用配置、hadoop配置和spark配置。一.实验环境:使用虚拟机软件：VMware Workstation Pro操作系统：Ubuntu 18.04 (mas...

Hadoop 首先看一下Hadoop解决了什么问题，Hadoop就是解决了大数据（大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理）的可靠存储和处理。HDFS，在由普通PC组成的集群上提供...

2.2 HDFS系统部署2.2.1 HDFS集群简介一个典型的HDFS集群通常由一个NameNode节点，一个Secondary NameNode节点，和若干个DataNode节点组成。本集群搭建案例，以5个节点为例进行搭建，节点部署规...

由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载...

 谈到对Hadoop分布式文件系统（HDFS）数据整合与分析处理，首先要说到的就是存储模式了：（一）HDFS的存储模式不同于关系型或文档型数据库，它没有索引，由于索引的目的是方便随机读写，每次读...