谈到对Hadoop分布式文件系统（HDFS）数据整合与分析处理，首先要说到的就是存储模式了：（一）HDFS的存储模式不同于关系型或文档型数据库，它没有索引，由于索引的目的是方便随机读写，每次读...

首先开启Hadoop服务，然后开启Hive服务： [wzq@hadoop102 hive-3.1.2]$ myhadoop.sh start [wzq@hadoop102 hive-3.1.2]$ hiveservices.sh start [wzq@hadoop102 hive-3.1.2]$ hive hive (defaul...

2.2 HDFS系统部署2.2.1 HDFS集群简介一个典型的HDFS集群通常由一个NameNode节点，一个Secondary NameNode节点，和若干个DataNode节点组成。本集群搭建案例，以5个节点为例进行搭建，节点部署规...

为什么要用Hadoop？ 1.源码开源 2.社区活跃，参与者很多 3.涉及到分布式存储和计算的方方面面： Flume进行数据采集 Spark/MR/Hive等进行数据处理 HDFS/HBase进行数据存储 4.已经得到企业界的验...

一、相关概念 1、大数据 大数据是一门概念，也是一门技术，是以Hadoop为代表的大数据平台框架上进行各种数据分析的技术。 大数据包括了以Hadoop和Spark为代表的基础大数据框架，还包括实时数据...

前言寒假花了很多时间在基于Giraph的PageRank这个实验上面，最终实现的效果是在服务器上的分布式环境中使用Giraph这个框架运行PageRank算法。这个系列的文章主要是把在配置Hadoop的过程中所有踩...