hadoop共16篇
Hadoop整合分布式文件系统上数据,保证分析和处理数据高效?-卡咪卡咪哈-一个博客

Hadoop整合分布式文件系统上数据,保证分析和处理数据高效?

 谈到对Hadoop分布式文件系统(HDFS)数据整合与分析处理,首先要说到的就是存储模式了:(一)HDFS的存储模式不同于关系型或文档型数据库,它没有索引,由于索引的目的是方便随机读写,每次读...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
08915
Hadoop + Spark 完全分布式学习环境搭建(Docker版)-卡咪卡咪哈-一个博客

Hadoop + Spark 完全分布式学习环境搭建(Docker版)

计算机中所有程序都要寄托一个环境运行,环境可以理解为一个程序运行所需要的条件的集合;如果只是为了写一个Java程序,它是单进程的,那么我们配置jdk、jre就可以了;如果写一个网站,有前后端...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
07114
Hadoop 2.x 中的多节点集群部署-卡咪卡咪哈-一个博客

Hadoop 2.x 中的多节点集群部署

Hadoop 2.x 中的多节点群集 从我们之前的Hadoop教程系列博客中,我们学习了如何设置 Hadoop单节点集群。现在,我将展示如何设置Hadoop多节点集群。Hadoop 中的多节点集群在分布式 Hadoop ...
kmhmha的头像-卡咪卡咪哈-一个博客kmhmha1年前
03813
Hadoop系列4--HDFS集群搭建实战之HDFS系统部署-卡咪卡咪哈-一个博客

Hadoop系列4–HDFS集群搭建实战之HDFS系统部署

2.2 HDFS系统部署2.2.1 HDFS集群简介一个典型的HDFS集群通常由一个NameNode节点,一个Secondary NameNode节点,和若干个DataNode节点组成。本集群搭建案例,以5个节点为例进行搭建,节点部署规...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
09913
与 Hadoop 对比,如何看待 Spark 技术?-卡咪卡咪哈-一个博客

与 Hadoop 对比,如何看待 Spark 技术?

Hadoop 首先看一下Hadoop解决了什么问题,Hadoop就是解决了大数据(大到一台计算机无法进行存储,一台计算机无法在要求的时间内进行处理)的可靠存储和处理。HDFS,在由普通PC组成的集群上提供...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
010013
如何设置具有HDFS高可用性的Hadoop集群-卡咪卡咪哈-一个博客

如何设置具有HDFS高可用性的Hadoop集群

HDFS 2.x 高可用性集群架构 在这篇博客中,我将讨论 HDFS 2.x 高可用性集群架构以及设置 HDFS 高可用性集群的过程。这是大数据课程的重要组成部分。 本博客中涵盖主题的顺序如下: HDFS HA 架...
kmhmha的头像-卡咪卡咪哈-一个博客kmhmha1年前
08111