2.2 HDFS系统部署2.2.1 HDFS集群简介一个典型的HDFS集群通常由一个NameNode节点，一个Secondary NameNode节点，和若干个DataNode节点组成。本集群搭建案例，以5个节点为例进行搭建，节点部署规...

一、搭建本地环境1、下载准备两个工具Hadoop-2.7.3.tar.gzHadoop-2.7.3-winutils.exe.rar2、将Hadoop-2.7.3-winutils.exe.rar解压后，其中的两个文件进行拷贝Hadoop.dllWintuils.exe3、将Hadoop...

首先开启Hadoop服务，然后开启Hive服务： [wzq@hadoop102 hive-3.1.2]$ myhadoop.sh start [wzq@hadoop102 hive-3.1.2]$ hiveservices.sh start [wzq@hadoop102 hive-3.1.2]$ hive hive (defaul...

导读本次分享主题为 B 站 Presto 集群查询性能的优化，首先会简单介绍 Presto以及 B 站内部 Presto 集群的架构。接下来讲解针对 Presto 做的改造，主要是 Presto 搭配 Alluxio 和 Presto 搭配 A...

 谈到对Hadoop分布式文件系统（HDFS）数据整合与分析处理，首先要说到的就是存储模式了：（一）HDFS的存储模式不同于关系型或文档型数据库，它没有索引，由于索引的目的是方便随机读写，每次读...

作者 | 火山引擎EMR团队 众所周知，基于 Hadoop 的 EMR 体系发展到现在，经历了很多个阶段。从基于 IDC 机房通过 CDH 去部署的 1. 0 阶段，演进到在公有云上面按照存算分离的办法去进行的 2. 0 ...