一、相关概念 1、大数据 大数据是一门概念，也是一门技术，是以Hadoop为代表的大数据平台框架上进行各种数据分析的技术。 大数据包括了以Hadoop和Spark为代表的基础大数据框架，还包括实时数据...

为什么要用Hadoop？ 1.源码开源 2.社区活跃，参与者很多 3.涉及到分布式存储和计算的方方面面： Flume进行数据采集 Spark/MR/Hive等进行数据处理 HDFS/HBase进行数据存储 4.已经得到企业界的验...

首先开启Hadoop服务，然后开启Hive服务： [wzq@hadoop102 hive-3.1.2]$ myhadoop.sh start [wzq@hadoop102 hive-3.1.2]$ hiveservices.sh start [wzq@hadoop102 hive-3.1.2]$ hive hive (defaul...

最近在上大数据实验的，整理一下配置环境的过程。本文主要包括所需安装包，通用配置、hadoop配置和spark配置。一.实验环境:使用虚拟机软件：VMware Workstation Pro操作系统：Ubuntu 18.04 (mas...